题目
如何拆解首 Token 延迟、模型生成时间、工具耗时和排队时间?
答案
从用户点击提交开始记录时间,区分网关接收、任务排队、上下文准备、模型请求、首个可展示内容、工具调用和最终完成等节点。 模型服务报告的首 Token 延迟通常不包含应用排队和检索时间。用户体感应从提交请求算起,而且模型先返回工具参数时,并不等于用户已经看到答案。 多轮 Agent 的总耗时还包括反复调用模型和工具的时间。并行步骤应按关键路径分析,不能简单把所有 Span 耗时相加。 ![把用户等待时间拆到具体阶段](https://cs-wiki.oss-cn-shanghai.aliyuncs.com/question/agent-development/extra-latency-breakdown-e6f916db011ecfe7.png) 按阶段统计中位数和高分位延迟,再决定优化对象:排队慢就查容量和调度,检索慢就查索引,工具慢就查下游,模型生成慢再考虑模型、输出长度和调用轮次。只优化首 Token 不一定能缩短任务完成时间。