让两个版本在同一批任务、相同环境和预算下重复运行，记录每个任务的成功次数、错误类型、耗时和费用。不要只比较各自最好的一次结果。 区分“多次尝试中至少成功一次”和“每次都成功”。前者适合允许多次候选的场景，后者更接近自动执行业务时对稳定性的要求，统计口径应明确。 比较时采用配对样本，观察每类任务的变化，并给出样本数和不确定范围。供应商、模型版本、提示词、工具和初始数据都要记录，不能把环境变化误认为模型改进。 重复次数根据成本和波动程度选择。高影响操作应重点检查偶发失败，而不仅看平均成功率；少量样本没有出现问题，也不等于问题概率为零。