题目
如何为不同租户设置并发限制、优先级、排队和背压策略?
答案
同时设置全局容量与租户额度。全局额度保护模型供应商和 Worker,租户额度防止某个客户的大批任务占满所有资源。 使用有上限的队列,并按任务类型、租户权重和等待时间调度。高优先级任务可以更快执行,但也要避免低优先级任务长期饿死。 容量不足时通过明确的排队状态、重试时间或拒绝响应传递背压,不要无限接收请求。对昂贵任务可按预计 Token、执行时长或工具成本计权,而不仅按请求数限流。 用户取消后及时释放未使用配额;运行中的任务定期更新实际消耗。监控每个租户的排队时间、成功率和资源占用,区分真实负载与异常重试造成的流量放大。