题目
如何制定成功率、延迟与成本目标,并通过压测和线上监控验证?
答案
按任务类型设置目标,例如知识问答关注正确率和首屏等待,退款任务关注业务成功与错误操作,长报告关注完成时长和每项任务费用。 明确统计窗口、成功定义、样本范围和延迟分位数。只看平均耗时容易遗漏少数等待很久的请求;只看总费用也无法发现单类任务成本失控。 压测应包含真实的步骤数量、上下文长度、工具延迟和租户分布,覆盖突发流量、供应商限流和 Worker 故障。可以用替身做大规模容量测试,再用受控真实调用校准外部服务表现。 线上持续监控业务成功、错误类型、排队、Token、工具用量和费用,并保留告警与降级策略。成功率、延迟和成本应一起比较,不能通过过早拒绝请求让响应时间看起来更好。