一个线上大模型应用通常包含哪些核心模块？

面试时怎么答

大模型应用架构不要背模块名，应沿请求画出鉴权、上下文构建、模型或检索、工具执行、结果校验和观测链路。每层说清输入输出与失败边界，再挑同步/异步、通用编排/业务定制中的一个取舍展开；这样既能展示全局观，也方便面试官任选一层深挖。

可以这样答：

线上大模型系统通常分成六层：接入鉴权、应用编排、模型与检索、工具执行、安全治理、可观测性。沿一条请求解释：网关识别租户，编排层组装上下文并路由模型，需要时调用受限工具，最后做结构和安全校验。不过，平台能力越通用，业务链路越可能多一层开销；缓存越积极，一致性和越权风险越高。方案实施时要为链路设置任务成功率、TTFT、P95 延迟、单次成本和安全拦截误报率，并让每次调用可追踪。

核心回答

典型链路包括入口网关、身份与限流、业务编排、Prompt 和模型路由、RAG 或工具层、模型服务、输出校验与安全防护、状态和缓存，以及日志、Tracing、评估和反馈闭环。回答系统设计题时应先说明业务目标和 SLO，再解释哪些模块真的需要，而不是机械堆叠框架。

展开说明

一次请求可以这样流动：

1. 网关完成认证、租户识别、配额和请求大小检查。
2. 编排层加载版本化 Prompt、会话状态和业务规则。
3. 根据任务、成本和可用性选择模型，必要时调用检索或工具。
4. 对结构化输出做 Schema 与业务校验，对高风险动作增加确认。
5. 把响应流式返回，同时记录 token、耗时、模型版本、检索证据和工具结果。

模型不应直接持有数据库管理员权限。外部系统通过受限工具接口暴露，并在执行前后验证权限和真实状态。

工程实践

第一版可以是单体应用，但接口边界和观测字段应先设计好。只有当吞吐、团队协作或隔离需求出现时再拆服务。核心 SLO 通常包括可用性、TTFT、总延迟、任务成功率和单请求成本。

常见追问

1. 模型路由和降级应该放在哪一层？ 通常由编排或模型网关统一决策，业务层提供质量与合规约束；这样可集中治理又保留业务语义。
2. 哪些数据适合缓存，哪些不能缓存？ 稳定、低敏、可明确版本化的结果适合缓存；含个人数据、实时权限或高时效内容必须隔离、短 TTL 或禁用缓存。
3. 如何记录工具调用而不泄漏敏感信息？ 记录工具名、参数 Schema、哈希、状态码、耗时和追踪 ID，对内容做字段级脱敏或加密，并限制日志访问与保留期。

一句话复习

线上 LLM 应用是受控的软件系统：模型只是其中一个模块，权限、校验和观测同样重要。

参考资料

• 面试主题：LLM System Design Interview Guide
• 工程依据：Anthropic：Building Effective Agents、OWASP Secure AI Model Ops