BatchNorm 与 LayerNorm 的归一化维度有何不同，为什么 Transformer 更常用 LayerNorm？

面试时怎么答

回答重点放在统计维度，不必先背公式。BatchNorm 对同一通道跨 Batch（以及空间位置）统计，推理依赖运行均值方差；LayerNorm 对每个样本或 Token 的隐藏维统计。再用语言模型的小 Batch、变长序列和自回归推理说明为什么 Transformer 偏好 LayerNorm。

可以这样答：

BatchNorm 对同一通道跨 Batch 和空间位置计算均值方差，训练时依赖当前 Batch，推理时通常使用运行统计；LayerNorm 对单个样本或单个 Token 的隐藏维做归一化，训练和推理使用同一公式。语言模型的 Batch 大小和序列长度经常变化，自回归推理也不应依赖其他样本，因此 Transformer 更常使用 LayerNorm 或 RMSNorm。

核心回答

归一化通式为 \(y=\gamma\odot(x-\mu)/\sqrt{\sigma^2+\varepsilon}+\beta\)，差别在 \(\mu\)、\(\sigma^2\) 沿哪些轴统计。卷积 BatchNorm 通常对每个通道跨 batch 和空间位置统计；训练时使用当前 mini-batch，推理时使用累计 running mean/variance。LayerNorm 对每个样本内部的一组特征统计，Transformer 中通常是每个 token 的 hidden dimension。

LayerNorm 不依赖 batch size，也不把不同序列样本统计耦合，适合变长文本、micro-batch 训练和逐 token 推理。BatchNorm 若在自回归不同时间步使用变化的 batch 统计，会造成训练推理不一致且难处理 padding。

展开说明

BatchNorm 的 batch 噪声有时能正则化并加速视觉网络，但小 batch 下统计不稳定，分布漂移还会使 running statistics 失准。LayerNorm 在训练和推理中都从当前样本计算统计，没有 running buffer，但每个 token 内中心化与缩放可能去掉部分幅度信息。

Transformer 还要区分 Pre-Norm 与 Post-Norm，这是 LayerNorm 放在残差分支前后的结构问题；不要与“LayerNorm 和 RMSNorm 的公式差异”混为一题。

工程实践

回答落地时明确张量形状和 reduction axes，用可手算小张量做单测。BatchNorm 分布式训练需说明是否 SyncBatchNorm；LayerNorm 则关注融合 kernel、ε 和混合精度。转换 train/eval 模式时检查 running buffer 是否更新，避免冻结模型却误更新 BN 统计。

常见追问

BatchNorm 训练和推理为什么不同？ 训练用当前 batch 统计并更新 running statistics；推理用累计统计，避免输出依赖同批其他样本。
LayerNorm 为什么不需要 running mean？ 它每次都从当前样本或 token 的特征维计算统计，推理时同样可直接得到。
Batch size 很小时 BatchNorm 会怎样？ 均值方差估计噪声变大，极端时退化；可考虑 SyncBatchNorm、GroupNorm 或 LayerNorm。
Transformer 使用 LayerNorm 的唯一原因是 batch 小吗？ 不是。变长序列、自回归逐 token 推理和不希望样本间耦合也同样重要。

一句话复习

BatchNorm 跨样本看同一特征，LayerNorm 在单个 token 内看隐藏维；Transformer 需要后者的 batch 无关性。