题目
同一个任务存在多条正确执行路径时,如何评价结果与执行过程?
答案
以最终结果和必须遵守的约束为主,而不是要求工具调用顺序与标准答案完全一致。例如先查库存还是先查价格,只要没有依赖冲突,都可能正确。
把过程约束分成必须项和优化项。身份校验、审批、不得访问越权数据属于必须项;调用次数和搜索顺序通常属于效率指标。
验收时检查业务终态、输出证据和禁止行为,再比较耗时、费用及多余操作。结果碰巧正确,但曾执行未经授权的删除,仍应判为失败。
对于特别依赖过程的任务,可定义关键里程碑,例如退款前必须确认剩余额度,而不是匹配完整轨迹。这样既能保证正确性,也允许 Agent 找到更高效的路径。
