题目
如何从大量生产日志中筛选、去重和脱敏,形成有代表性的评测样本?
答案
先按任务类型、用户群、渠道和结果分层采样,保留常见任务,也有意识地增加低频但影响大的失败案例。只抓报错日志会漏掉“没有报错却答错”的问题。 用规范化文本、任务结构和语义相似度去重,避免同一用户重复提问占据大量样本。采样比例要记录,评测统计时区分真实分布与刻意加强的困难集。 脱敏应覆盖输入、工具结果、附件和追踪元数据。替换姓名、账号和订单号时保持对应关系,例如同一个订单号在不同步骤使用同一个虚构值,否则案例将无法回放。 补充正确结果、初始业务状态和失败归因,并人工检查是否仍包含敏感内容。还要确认样本有合适的保存和使用权限,设置访问范围及保留期限。