大模型语义缓存应该怎样设计，如何避免错误命中和数据越权？

面试时怎么答

语义相似只能产生缓存候选，不能直接命中。回答要把租户权限、Prompt/模型/知识版本、结构化槽位与 TTL 一并放进校验链，再说明向量召回后为何还需规则或精排。阈值越松命中越多，也越容易复用错误答案或跨租户泄露。

可以这样答：

语义相似只是缓存候选条件，不代表答案可以直接复用；还要满足租户权限、Prompt 版本、知识版本和时效一致。我会用标准化查询向量召回候选，经过阈值、结构化槽位和权限规则二次校验，缓存键带完整版本指纹与 TTL。同时，阈值放宽会提高命中，却放大错误答案和跨租户泄漏。服务侧通过离线反事实集选阈值，线上监控命中率、确认误命中率、节省 Token、P95 延迟和版本失效传播时间。

核心回答

先区分精确缓存和语义缓存：精确缓存只复用完全等价的请求，语义缓存把查询编码后检索相似历史请求，在相似度和业务规则都通过时复用回答。缓存键或过滤条件必须包含租户、用户权限版本、任务、语言、模型、Prompt、安全策略和知识库快照；读取时重新鉴权。只凭向量相似度跨用户返回答案，会同时造成错误回答和数据泄露。

语义缓存适合答案稳定、低风险、重复度高的场景。个性化、强时效、金融/医疗决策或带副作用的任务应禁用，或只缓存中间的公开检索结果。

展开说明

一次读取可以按以下步骤进行：

1. 规范化确定性字段，先查精确键；未命中再在同一安全分区内做向量近邻检索。
2. 用按意图和语言校准的阈值筛选，必要时增加轻量交叉验证器；统一阈值通常无法覆盖所有任务。
3. 校验缓存项的权限、版本、TTL、来源与知识新鲜度，命中后仍执行当前输出安全策略。
4. 未命中时请求模型，并保存回答、证据、版本、创建时间和可缓存原因，而不只是文本。

失效方式包括 TTL、版本前缀切换、文档更新事件和主动删除。对热点未命中可用 single-flight 或锁抑制缓存击穿，但等待必须有界，不能让缓存故障拖垮主链路。

工程实践

离线从真实查询对中标注“可安全复用/不可复用”，绘制不同阈值下的命中率与错误命中率，按业务风险选择工作点。线上记录命中类型、候选距离、版本、节省 token 和后续负反馈，并提供一键旁路。测试权限降级、知识更新、近似但关键实体不同、否定句和时间问题，重点监控跨租户命中必须为零。

常见追问

1. 语义相似为什么不等于答案可以复用？ 两个问题可能只差时间、主体、权限或否定词，却需要不同答案；必须校验关键槽位与上下文约束。
2. 更新 Prompt 或知识库后，哪些缓存必须失效？ 所有依赖受影响 Prompt、模型、Embedding、索引或数据快照的条目都应按版本指纹失效，而非只清空单层缓存。
3. 如何选择相似度阈值并评估错误命中的业务代价？ 用真实查询对标注“可复用”关系，绘制命中率与误命中率曲线，再按错误答案损失而非纯相似度选阈值。

一句话复习

语义缓存必须在同一权限与版本边界内，用业务校准阈值换取可控的命中率，而不是全局做向量近邻复用。

参考资料

• 面试题来源：Generative AI & LLM System Design 的缓存题
• 技术依据：GPTCache 论文、GPT Semantic Cache 论文