题目
规则校验、模型评分和人工评审分别适合什么场景,如何校准评分结果?
答案
规则校验适合明确条件,例如 JSON 格式、SQL 是否只读、订单状态、引用 ID 和文件是否存在。结果稳定,但无法覆盖所有语义质量。 模型评分适合相关性、完整性、证据支持等需要理解文本的维度。评分提示应有清楚的标准和例子,尽量隐藏候选版本身份,减少长度、顺序和措辞带来的偏差。 人工评审适合规则不清、争议大或影响较高的案例,也用于检查自动评分是否可靠。先让多人评同一批样本,讨论分歧,统一标准。 ![评分方式要对应验收对象](https://cs-wiki.oss-cn-shanghai.aliyuncs.com/question/agent-development/extra-evaluation-methods-af1ee7047efdc64b.png) 用人工标注样本衡量模型评分的误判和漏判,定期抽查,并固定评分器版本。不能只看一个总分;格式合格、事实正确、操作安全等维度应分别判断。