题目
如何管理提示词版本,并验证修改是否引入行为回归?
答案
将提示词当作代码管理:保存版本号、修改原因、适用模型和工具 Schema 版本。线上每次运行都记录实际使用的版本,不能只记录“当前最新版”。 修改前建立基线,使用相同评测集比较任务成功率、工具误用、越权行为、耗时和费用。既测本次想改善的问题,也保留关键旧场景,防止修好 A 却破坏 B。 对模型输出有波动的任务重复运行,比较总体分布,不凭一次示例判断。高风险规则用确定性的检查器验证,表达质量再结合人工评审。 ![提示词改动也要走发布流程](https://cs-wiki.oss-cn-shanghai.aliyuncs.com/question/agent-development/extra-prompt-release-ce58a75497fd1539.png) 上线可先小比例放量,并保留快速回滚入口。若同时修改模型、提示词和工具,很难判断效果来自哪里;能拆开就分别验证,必须一起修改时则以完整配置作为一个发布版本。