题目
离线评测正常但线上表现下降时,如何分析分布变化、环境差异和指标遗漏?
答案
先按时间、用户群、任务类型、渠道和模型版本拆分指标,确定下降集中在哪里。平均值可能掩盖某一租户或某类长任务的明显故障。 检查线上输入是否与评测集不同,例如更长对话、更多歧义、新产品或多语言请求;再检查工具数据、权限、网络、并发、缓存和限流是否与测试环境一致。 核对实际发布的完整配置,防止提示词已更新但工具 Schema 未更新。还要检查评分是否遗漏真实业务目标,例如答案看似正确,用户却无法打开引用或下载文件。 采集脱敏失败样本,在相近环境复现,并将代表性案例加入评测。确认问题后用小流量验证修复,必要时回滚;不要仅通过降低成功标准让指标恢复。