题目
选择 Agent 使用的模型时,应如何评估工具调用、指令遵循、延迟和成本?
答案
先用自己的任务做一个小型评测集,再比较模型。聊天回答流畅,不代表能正确选择工具、填写参数或处理工具报错。 工具调用要看误选率、参数正确率、连续调用成功率;指令遵循要测试业务限制、复杂格式和冲突信息;性能要同时记录首 Token 延迟、整项任务耗时和尾部延迟。 成本应按“完成一个任务多少钱”计算。便宜模型如果反复调用工具、重试五次,最终可能更贵。输入、输出、缓存、工具费用和失败后的人工处理成本都需要考虑。 还要确认结构化输出、并行工具、上下文长度和数据部署要求。实际可以让简单分类使用小模型,复杂规划使用更强模型,但路由方案同样要经过端到端评测。