题目
如何设置任务级 Token 与费用预算,并在预算不足时合理结束任务?
答案
为任务设置总预算,再给模型调用、工具和子任务分配额度。记录实际使用量,同时对尚未结束的并行调用预留预算,避免每个调用都以为还有完整余额。
费用计算包括输入、输出、缓存、付费工具和必要的重试;价格与模型配置一起保存,便于复盘。调用前估算,调用后用服务返回的用量结算。
接近上限时,优先结束低价值探索,缩减候选和输出,或切换经过验证的低成本路径。必须预留最终整理结果的空间,不能把预算全部用在搜索上。
预算不足以完成时保存进度,明确交付已完成部分和未解决事项。涉及外部写操作时,应先保证在途结果得到确认,不能因为费用耗尽就把已提交操作的状态丢掉。
