题目
如何设置召回数量、重排数量和相关性阈值,并通过评测调整?
答案
召回数量决定初选范围,重排数量决定有多少候选接受更精细的比较,最终送入模型的数量还受上下文预算限制。这三个数量应分别配置。
可以先设一组实验值,例如召回 50 条、重排后保留 8 条,再用真实问题测效果;这些数字只是起点。增加候选可能提升召回,也会增加延迟、费用和干扰。
相关性阈值用于拒绝明显不相关的材料,应在所用模型和数据分布上校准。不同向量模型或重排模型的分数不能共用同一个阈值。
评测时同时观察 Recall@K、最终答案正确率、空结果比例和耗时。分别检查单文档问答、多文档综合和精确标识查询,必要时采用不同策略,而不是全站固定一套参数。
