题目
如何分别衡量检索命中率、召回率、答案相关性和事实忠实度?
答案
检索命中率常指 Hit@K:在前 K 条结果中至少找到一条相关材料的问题占比。它适合观察“有没有找对方向”。
Recall@K 看每个问题所需的相关材料中找回了多少。一个问题需要三份证据,只找回一份可能算命中,但召回并不充分。计算前要统一相关性标注和统计口径。
答案相关性看是否回应了用户问题;事实忠实度看回答中的事实是否得到给定证据支持。回答可能紧扣问题却编造细节,也可能完全忠于材料却答非所问。

评测集应包含标准问题、相关证据和可接受答案要点。分别统计这些指标,再抽样核对自动评分;还要验证证据本身是否准确、过时,忠于错误材料不等于回答正确。
