题目
如何通过模型路由、减少调用轮次和并行执行降低成本与延迟?
答案
模型路由把简单分类、抽取交给较小模型,把复杂规划和困难案例交给更强模型。路由依据应来自评测,失败升级也要计入总成本。 减少轮次可以从工具设计和上下文准备入手:一次返回下一步需要的必要数据,将稳定业务步骤封装为一个工具,避免模型反复查询同一事实。 无数据依赖、无写冲突的调用可以并行,例如同时搜索多个独立来源。并行会降低等待时间,但不一定降低费用,也可能加重下游限流。 优化前后比较同一批任务的成功率、任务总成本和端到端耗时。减少一轮调用如果导致信息不足、失败重试增多,反而可能更慢更贵。应先找到实际瓶颈,再做有针对性的调整。