题目
提示词缓存、工具结果缓存和语义缓存分别适合什么场景,如何失效?
答案
提示词缓存复用模型服务对重复输入前缀的处理,适合稳定的系统指令和工具定义。它通常不等于缓存最终答案,计费与有效期取决于供应商。 工具结果缓存复用相同查询的结果,适合变化较慢的只读数据。缓存键应包含参数、数据版本和权限范围;写操作回执的幂等记录与普通缓存用途不同,不能随意过期后再执行一次。 语义缓存复用相似问题的答案,适合答案稳定、差异不敏感的问答。涉及金额、时间、用户身份和否定条件时,即使句子相似,也可能需要完全不同的答案。 ![缓存放在哪一层,失效条件就是什么](https://cs-wiki.oss-cn-shanghai.aliyuncs.com/question/agent-development/extra-cache-types-0ff881afa45f9012.png) 失效可结合 TTL、数据更新事件、版本号和权限变更。先保证不会跨用户泄露或返回过时结果,再追求命中率。缓存命中后的答案仍应符合本次请求的约束。