如何让大模型训练尽可能可复现？

面试时怎么答

开头区分位级完全一致与统计可复现。单机小实验可能追求相同权重，多机大训练受并行归约顺序和非确定性算子影响，更现实的目标是同配置落在可接受误差带。

回答应覆盖代码、数据、环境和状态四类版本：提交号、数据清单与顺序、容器和驱动、随机种子、优化器与 RNG Checkpoint。追问定位漂移时，再讲小规模确定性回放与逐层校验。

可以这样答：

可复现不只是固定随机种子。还要锁定代码提交、配置、容器与驱动，给数据集做清单和校验和，记录分片及采样顺序，并在 Checkpoint 中保存优化器、调度器和各 Rank 的 RNG 状态。多机归约和部分 GPU 算子可能非确定，因此大训练通常追求统计可复现：损失曲线和评测落在预设容差内。异常时先用小规模确定性配置回放，定位首个分叉点。

核心回答

可复现不是只设一个 Seed，而是固定代码、模型和数据版本、配置、Tokenizer、依赖/驱动、硬件拓扑、初始状态、数据顺序以及 Python/NumPy/CPU/GPU 等全部随机源。还要选择确定性算法，控制 DataLoader Worker 的 Seed，并让各 Rank 以可推导且不重复的方式初始化随机状态。

即便如此，浮点加法不满足结合律，通信归约顺序、异步 Kernel 和硬件差异都可能造成微小偏差，长训练会放大它们。因此应区分逐 Bit 复现、数值容差复现和最终指标统计复现，并选择业务真正需要的等级。

展开说明

保存不可变的代码 Commit、容器 Digest、数据 Manifest/哈希、完整配置和环境信息。
固定训练/验证切分与样本顺序，记录 Epoch、Sampler 状态和 Checkpoint 的 RNG State。
启用确定性算法后，对不支持的算子选择报错或替换，而不是静默接受不确定性。
用容差比较中间 Loss、梯度范数和最终评测；大规模训练可运行多个 Seed 报告均值与方差。

确定性通常有性能成本，也不能保证跨平台结果相同。复现实验前应明确是在同一机器/版本复跑，还是要求跨 GPU 型号、驱动或框架版本迁移。

版本边界：PyTorch 官方明确不保证跨 Release、不同平台或 CPU/GPU 间完全复现；确定性算子列表也会随版本变化，因此环境版本本身就是实验数据。

工程实践

建立最小复现清单并由训练入口自动落盘，包含 Git SHA、镜像 Digest、包锁文件、CUDA/驱动、GPU、拓扑、所有 Seed、数据哈希和启动命令。先在几十步小任务验证两次运行的 Batch ID、Loss 与梯度，再进行昂贵训练；恢复测试还要核对 Checkpoint 后的首批样本。

常见追问

同一 Seed 为什么 Loss 仍可能不同？ 算子可能非确定、DataLoader 顺序不同、通信归约顺序变化或环境版本不一致；Seed 只控制已接入该随机源的随机过程。
确定性训练一定值得吗？ 调试和回归测试通常值得，但大规模生产训练可能更重视吞吐与统计一致性；应把确定性范围和性能代价写进实验协议。
什么叫统计复现？ 多次运行不要求逐步数值相同，但最终质量、稳定性与置信区间一致；它更适合对本身含随机性的训练结论做验证。

一句话复习

可复现要固定环境、数据顺序、全部随机状态和算法边界，并明确追求逐 Bit、数值容差还是统计一致。

参考资料

官方文档：PyTorch Reproducibility