题目
回答错误时,如何区分“没有检索到答案”和“检索到了但没有正确使用”?
答案
保存完整的中间产物:原问题、改写查询、过滤条件、各路候选、重排结果,以及最终真正送入模型的上下文。只看最终答案,无法判断是哪一步丢了信息。 先在原始资料中确认正确答案存在,再逐层追踪:原文有但初召回没有,检查分块、查询和索引;初召回有但重排淘汰,检查排序;已选中但组装时截断,检查预算;上下文完整却回答错误,检查生成指令和证据使用。 一个实用方法是把人工确认的正确证据直接提供给生成环节。若回答恢复正常,问题多在检索链路;仍然错误,则继续检查模型理解、任务歧义和输出校验。 ![沿证据经过的路径定位错答](https://cs-wiki.oss-cn-shanghai.aliyuncs.com/question/agent-development/extra-rag-error-localization-269cf02f33dce0c5.png) 修复后把该案例加入回归集,并覆盖相似表达,避免只修好原句。