题目
批量向量化时,如何处理 Token 限制、分批请求和失败重试?
答案
同时检查单条文本上限、单批总 Token 上限、条目数量和服务限流。只按“每批 100 条”切分,遇到长文本时仍可能超限。 给每个分块分配稳定 ID,记录内容哈希、Embedding 模型版本和处理状态。成功结果按 ID 入库,重跑时跳过已经完成且内容未变的条目。 限流或暂时故障使用带抖动的退避重试;输入超长则重新分块;非法文本或维度异常单独隔离,不能无限重试整批。服务支持部分结果时,应只补处理失败项。 校验返回向量的数量、维度和对应关系,防止批次顺序变化造成错配。任务进度和失败清单要持久化,大规模入库中断后才能继续,而不必重新计算全部向量。