LoRA 的 Rank 和 Alpha 如何影响容量与更新尺度？

面试时怎么答

Rank 与 Alpha 必须结合 \(\Delta W = (\alpha/r)BA\) 解释：Rank 决定低秩更新的容量和参数量，Alpha 决定有效缩放，但效果还与学习率和缩放约定有关。不要说 Rank 越大越好；追问时讨论欠拟合、过拟合及不同层使用不同 Rank。

可以这样答：

Rank 决定 LoRA 增量矩阵能表达的复杂度和参数量，Alpha 通过 \(\Delta W = (\alpha/r)BA\) 调节这部分更新的有效尺度。Rank 太小可能欠拟合，继续增大又会增加显存和过拟合风险；Alpha 过高可能让更新不稳定。两者不能脱离学习率、目标层和缩放约定单独比较，不同层也可以使用不同 Rank。

核心回答

LoRA 的 Rank \(r\) 决定更新矩阵 \(BA\) 的最大秩，也决定参数量和计算量；对一个 \(d_{\mathrm{in}} \to d_{\mathrm{out}}\) 的线性层，可训练参数约为 \(r(d_{\mathrm{in}}+d_{\mathrm{out}})\)。Alpha \(\alpha\) 不增加容量，而是通过经典 LoRA 常见的缩放 \(\alpha/r\) 调整 LoRA 分支相对基座分支的更新尺度：

\[\Delta W = \frac{\alpha}{r}BA\]

增大 \(r\) 给了更新更多方向，但也增加显存、计算和过拟合空间；增大 \(\alpha\) 会放大同一组 \(A/B\) 产生的更新。二者不是“越大越好”，也不存在脱离模型、数据和学习率的统一最优组合。

展开说明

比较 Rank 实验时要同时说明缩放规则。若固定 \(\alpha\) 而增大 \(r\)，经典 \(\alpha/r\) 会变小；若希望保持该显式比例，可令 \(\alpha\) 随 \(r\) 调整。rsLoRA 等变体会改用 \(\alpha/\sqrt{r}\)，所以不能假设所有实现采用相同缩放。即便缩放比例相同，参数数量、优化动态和最终有效秩仍会改变，因此不能推断结果必然等价。

Rank 是最大表示容量，不等于训练后 \(\Delta W\) 的实际有效秩。可以观察 \(BA\) 的奇异值谱、验证集指标和通用能力回归，判断额外 Rank 是否真正被利用。Alpha 过大时常见现象是早期更新过猛、损失波动或基座能力退化；过小时则可能收敛慢或欠拟合。学习率、初始化和 LoRA dropout 也会共同改变实际更新幅度。

工程实践

先用小 Rank 建立基线，再在相同数据顺序、优化步数和评测集下扫描 \(r\) 与 \(\alpha/r\)。除任务分数外，同时记录训练吞吐、峰值显存、LoRA 更新范数、过拟合差距和通用能力回归。不要只看训练损失选择超参数，也不要在改变 Rank 时无意中同时改变有效 Batch 或学习率调度。

常见追问

Rank 增大后 Alpha 必须同比增大吗？ 不必须；同比增大可保持 \(\alpha/r\)，但最佳尺度仍要结合学习率和验证结果确定。
为什么 Rank 更大不一定更好？ 额外方向可能没有有效信号，还会增加计算、优化难度和过拟合风险。
Alpha 与学习率有什么区别？ Alpha 缩放 LoRA 分支的前向输出，学习率控制优化器每步如何更新参数；两者都会影响训练动态但不可互相完全替代。
如何判断 Rank 太小？ 任务训练与验证指标同时欠拟合、提高训练步数仍无改善，并且增大 Rank 在受控实验中稳定获益，才是较强证据。

一句话复习

Rank 决定 LoRA 更新能表达多少方向，Alpha 决定这条更新分支有多强，选型必须同时看缩放规则、质量和成本。