题目
如何分别衡量检索命中率、召回率、答案相关性和事实忠实度?
答案
检索命中率常指 Hit@K:在前 K 条结果中至少找到一条相关材料的问题占比。它适合观察“有没有找对方向”。 Recall@K 看每个问题所需的相关材料中找回了多少。一个问题需要三份证据,只找回一份可能算命中,但召回并不充分。计算前要统一相关性标注和统计口径。 答案相关性看是否回应了用户问题;事实忠实度看回答中的事实是否得到给定证据支持。回答可能紧扣问题却编造细节,也可能完全忠于材料却答非所问。 ![检索找对了,不代表回答也答对了](https://cs-wiki.oss-cn-shanghai.aliyuncs.com/question/agent-development/extra-rag-metrics-389dd36e09478c2f.png) 评测集应包含标准问题、相关证据和可接受答案要点。分别统计这些指标,再抽样核对自动评分;还要验证证据本身是否准确、过时,忠于错误材料不等于回答正确。