题目
如何定义 Agent 的任务成功率和业务验收标准?
答案
从用户真正要完成的事情定义成功。例如客服任务不是“返回了一段话”,而是查询结果正确、退款申请满足规则,或已经把必要信息完整转交人工。 每类任务制定可检查的条件,包含输出正确性、业务状态、权限限制和时间成本。成功率的分母也要明确:统计所有已接收任务,还是仅统计满足前置条件的任务。 区分完全成功、部分完成、正确拒绝、等待用户和执行失败。用户没有提供必要信息而正确发起澄清,不应与工具崩溃混为一谈。 单独统计有副作用任务的错误操作率和权限违规率。一个系统即使大部分回答正确,只要偶尔把钱退错对象,也不能只用平均成功率评价。指标应对应业务验收,而不是模型自评。