如何设计能代表真实流量的 LLM 离线评测集？

面试时怎么答

评测集设计要回答“它代表谁、覆盖什么风险、如何保持新鲜”。从脱敏真实流量分层抽样，补充坏例、长尾和安全边界，再说明黄金答案、标注一致性、时间切分与污染检查。合成样本适合补边界，但不能替代真实分布，这一点值得主动说。

可以这样答：

离线评测集必须像真实业务，而不是只收集公开难题。先从脱敏流量按任务、用户、语言、长度和风险分层抽样，再补充故障回放、长尾和安全边界样本；黄金答案要有规则或双人标注，按时间切分并做训练污染检查。不过，流量样本真实但有隐私和标注成本，合成样本覆盖广却会偏分布。上线门禁看总体分、最差切片、置信区间和标注一致率。

核心回答

可信评测集需要同时满足代表性、可判定性、独立性和可维护性。样本应来自脱敏真实流量与明确风险模型，按任务、语言、输入长度、用户群体和失败类型分层；再用合成或人工对抗样本补齐低频但高影响场景。标签协议要定义什么算正确、部分正确、拒答和不可判定，并记录证据与评分理由。

评测集必须与训练、Prompt 调试和模型选择数据隔离，使用时间切分、精确及语义去重减少污染。结果不能只报平均分，应报告样本量、切片分数、置信区间和最差组，并冻结核心集、滚动更新流量集。

展开说明

可以将数据分成四层：稳定回归集负责版本可比；真实流量集反映当前分布；挑战集覆盖长尾和边界；安全集按威胁模型覆盖高影响失败。每个样本保留来源时间、任务标签、风险等级、评判规则与去标识化状态。若使用 LLM Judge，先在人工集上验证一致性、位置和长度偏差，不把单一 Judge 当黄金标准。

工程实践

建立数据卡和版本号，任何增删都生成 Diff；切分前以用户会话或文档为组去重，避免同源样本跨集合。发布报告同时给总体指标、各切片分母、Bootstrap 区间、失败样例和与上一版本的成对差异。对线上新故障先进入候选池，完成复现、去重和标注后再并入回归集。

常见追问

为什么不能只用公开 Benchmark？ 它的任务与用户分布未必匹配业务，且可能被训练数据污染；公开集适合外部参照，不能替代真实流量回归。
评测集应该多大？ 由要检测的最小差异、指标方差和切片数量决定；先用试验数据做功效分析，不以固定题数拍板。
如何更新评测集又保持版本可比？ 冻结一个长期核心集，另设滚动流量集；同时报告固定集趋势与新集结果，并记录每次样本变更。

一句话复习

评测集要从真实任务和风险出发，分层抽样、独立标注、隔离污染，并用切片与置信区间而非单一平均分做门禁。