DeepNorm 如何让超深 Transformer 稳定训练？

面试时怎么答

DeepNorm 不能答成“换了一种 LayerNorm”。需要说明它同时调整残差分支缩放和权重初始化，目标是让超深网络中的激活与梯度保持可控。公式系数依 Encoder、Decoder 结构而不同，不必死背一个值。追问效果时，围绕深度增加后的收敛、逐层激活和梯度稳定性展开。

可以这样答：

DeepNorm 是针对超深 Transformer 的残差缩放与初始化组合方案，不只是改变 LayerNorm 的位置。它根据网络深度给残差连接设置缩放系数，并为残差分支使用配套初始化，使前向信号和反向梯度在很多层后仍保持受控。具体系数依 Encoder、Decoder 或两者组合而异，因此不能脱离架构照搬同一公式。

核心回答

DeepNorm 面向非常深的 Transformer，把 Post-Norm 残差块改写为：

\[x_{l+1}=\operatorname{LN}\!\left(\alpha x_l+G_l(x_l;\theta_l)\right)\]

同时用与深度相关的系数 \(\beta\) 缩放部分权重初始化。\(\alpha\) 加强稳定的残差主干，\(\beta\) 控制新分支初始更新幅度；二者配合，使模型更新的上界不随层数失控增长，从而支持更深网络。

系数不是所有架构共用一组。以论文的纯 Encoder、深度 \(N\) 设置为例，采用 \(\alpha=(2N)^{1/4}\)、\(\beta=(8N)^{-1/4}\)；Encoder–Decoder 有另一组依赖两侧深度的公式。面试中应说明适用结构，而不能把示例常数机械套到任意 Decoder-only LLM。

展开说明

普通 Post-Norm 在很深时容易出现早期训练不稳；Pre-Norm 提供更直接的梯度通路，但其表示更新与最终性能也有不同权衡。DeepNorm 没有简单地把 LayerNorm 换位置，而是从“累计模型更新应受控”的目标推导残差放大和初始化缩小。

\(\beta\) 主要应用于论文指定的 Attention 与 FFN 投影权重，并非把所有张量统一相乘。随着深度增加，\(\alpha\) 增大而 \(\beta\) 减小，让恒等残差路径占据稳定主导，同时保留每层逐步学习的能力。论文展示了深达 1,000 层的稳定训练，但这不表示相同配置在所有优化器、宽度和任务上都无需调参。

工程实践

复现时先核对所用代码对 Encoder、Decoder 和 Encoder–Decoder 的系数表及初始化位置，并记录每层激活 RMS、梯度范数和更新范数。应与相同深度的 Pre-Norm 基线比较收敛速度和最终效果。若同时使用 μP、残差门控或其他初始化方案，需要重新验证组合后的尺度，不能默认彼此可叠加。

常见追问

DeepNorm 只是把 Post-Norm 改成 Pre-Norm 吗？ 不是。它保留归一化后的残差块形式，并额外引入深度相关的残差系数和初始化缩放。
为什么 \(\alpha\) 和 \(\beta\) 要成套使用？ 只放大残差而不缩小变换分支可能破坏尺度；二者共同约束跨层累计更新，才是方法的核心。
\((2N)^{1/4}\) 能直接用于所有 LLM 吗？ 不能。这是论文特定纯 Encoder 情形的系数，Decoder 或 Encoder–Decoder 应使用对应推导并通过实验验证。

一句话复习

DeepNorm 用深度相关的残差放大 \(\alpha\) 和权重初始化缩放 \(\beta\) 控制累计更新，使极深 Post-Norm Transformer 更易稳定训练。

参考资料

DeepNet: Scaling Transformers to 1,000 Layers