题目
如何构建覆盖正常、边界、异常和对抗场景的评测集?
答案
先按真实任务类型分层,再为每类任务准备输入、初始环境、可用工具、预期结果和禁止发生的行为。
正常场景覆盖常见路径;边界场景包括空结果、超长输入、多个同名对象和跨时区日期;异常场景包括工具超时、限流、部分成功和服务重启;对抗场景包括恶意网页指令、越权参数和伪造工具结果。
测试外部写操作时使用沙箱或可还原的数据,明确检查副作用。例如不仅检查回复“退款失败”,还要检查数据库是否真的没有新增退款单。

评测集分为开发集、回归集和独立保留集,防止提示词只对已知样本优化。持续加入线上失败案例,同时保留稳定基线,才能看清版本变化。
