如何设计一个可复现的大模型评测平台？

面试时怎么答

评测平台可以沿一次 Run 的生命周期讲：注册模型和 Prompt，冻结数据集与解码配置，幂等执行任务，调用规则/Judge/人工评分，保存逐题结果并触发门禁。复现性依赖完整版本指纹；缓存虽省钱，但 Key 漏掉任一依赖都会制造假复现。

可以这样答：

评测平台可以拆成：模型和 Prompt 注册中心、版本化数据集、可扩展执行器、规则与 Judge 评分器、结果仓库和发布门禁。每次 Run 固化模型摘要、解码参数、代码、数据集版本和随机种子；任务用幂等键、重试和限流，逐题保存输入引用、响应与评分理由。但全量重跑贵，缓存必须把全部依赖纳入 Key。平台指标看复现率、失败率、吞吐、单题成本和回归发现率。

核心回答

评测平台需要把一次实验建模为不可变 Run，输入包括模型与端点版本、Prompt/工具版本、数据集版本、推理参数、评分器版本、代码提交和环境。执行层将样本拆成幂等任务，通过队列限流、重试、超时和断点恢复调用本地或远程模型；评分层支持确定性规则、可执行验证、人工和校准后的 LLM Judge。

结果层保留逐题输出、分数、理由、延迟、Token、成本和错误，不只存聚合值。分析层支持切片、成对差值、置信区间和失败样例 Diff；门禁按主指标和护栏自动判定。敏感输入以引用或加密形式保存，执行与查看权限分离。

展开说明

平台要区分响应缓存和评分缓存：模型或解码变化应使响应缓存失效，评分规则变化只需重评已有输出。非确定模型应重复采样或保存服务端 Seed 与批处理条件。Judge 评审要随机左右顺序、允许平局，并定期与人工集比对，避免评测器升级悄悄改变历史趋势。

工程实践

用内容摘要生成 Run 与任务 ID，写入采用 Upsert 保证重试不重复计费。大评测分片运行，失败任务可单独重放；仪表盘同时展示总体、切片、置信区间和样本。核心回归走 CI 快速集，夜间跑全量，高风险版本额外运行红队集并保留审批记录。

常见追问

如何保证远程 API 评测可复现？ 固化请求和版本、保存原始响应及时间，并承认供应商后端可能变化；可重复采样报告分布，而非声称逐位复现。
缓存 Key 至少包含什么？ 模型或端点版本、完整 Prompt、工具配置、解码参数、样本版本和影响输出的运行时选项，缺一可能复用错误结果。
为什么必须保存逐题结果？ 聚合分无法做成对检验、切片和错误回放，也无法解释模型升级到底修复或破坏了哪些样本。

一句话复习

可复现评测平台把每次 Run 的模型、数据、Prompt、执行和评分全部版本化，并保存逐题证据支持比较与门禁。