如何按风险等级设计大模型发布门禁？

面试时怎么答

发布门禁按影响严重度和可逆性分级：摘要建议与能发消息、改账户的 Agent 不应共用阈值。低风险可走核心回归和灰度，高风险还要威胁建模、红队、人工审批、最小权限与动作确认；平均质量提升永远不能抵消单个严重安全失败。

可以这样答：

发布门禁要按影响范围、严重程度和可逆性分级：文案建议可以走轻量回归和灰度，能发消息或改账户的功能还要做威胁建模、红队、人工审批、最小权限和动作确认。总体分上涨不能抵消严重安全失败；上线后应分级切流并保留一键回滚，同时记录风险覆盖、误拒率、审批时长和恢复时间。

核心回答

发布门禁从使用场景而不是模型名称出发，按伤害严重度、发生概率、影响范围、可逆性和用户控制划分风险。每级绑定最低评测、允许的自动化权限和发布流程：低风险可自动回归后灰度；中风险增加专项切片与人工评审；高风险必须威胁建模、红队、独立审批、最小权限、人工确认和更严格的停止条件。

门禁包含离线与在线两段。离线要求主能力达标且任何关键安全指标不退化；在线从影子或内部流量开始，逐级放量，监控严重事件、误拒、稳定性与成本。每个版本必须有负责人、风险接受记录、审计日志、回滚包和事件响应预案。

展开说明

可以维护“风险—测试—控制—负责人”的可追踪矩阵。模型、Prompt、检索库、工具权限任一变化都可能改变风险，需要按变更类型决定重跑范围。平均指标不适合高严重度稀有事件，这些场景应使用零容忍或明确事件上限，并结合压力测试与人工审查。

工程实践

将门禁写成版本化策略，由 CI 读取评测产物自动判定；高风险例外必须有到期时间和双人审批。线上配置 Kill Switch、模型回退和工具只读降级。每次发布保存模型、Prompt、数据、评测集和政策版本，事故后可还原当时决策。

常见追问

1. 风险等级由谁决定？ 产品、工程、安全、法务和业务责任人共同评审，不能只由模型团队决定；结论与残余风险要有明确签字人。
2. 所有安全测试都必须零失败吗？ 严重且不可逆的关键场景可设零容忍；其他场景按风险预算设阈值，同时报告样本量和区间。
3. 只改 Prompt 需要重走发布门禁吗？ 需要按影响范围重测。Prompt 会改变拒答、工具调用和数据暴露行为，不能视为无风险文案修改。

一句话复习

发布门禁要按场景风险分级，把离线评测、权限控制、灰度、回滚和责任记录连成可审计闭环。

参考资料

• NIST AI Risk Management Framework
• NIST AI 600-1: Generative AI Profile