领域微调时如何识别并缓解灾难性遗忘？

面试时怎么答

先给出可验证定义：领域微调后新任务变好，同时通用能力、指令遵循或安全能力显著下降，才说明发生遗忘。然后分别谈数据回放、较小学习率、减少步数和参数高效微调。追问取舍时，要承认保留通用能力越强，领域适配幅度可能越小，因此必须同时看新旧任务。

可以这样答：

灾难性遗忘是模型在领域微调后获得新能力，却明显丢失原有通用知识、指令遵循或安全行为。常见缓解方法包括混入高质量通用回放数据、降低学习率与训练步数、限制可训练参数，或使用 LoRA 等参数高效适配。判断是否改善不能只看领域集，还要用固定的通用与安全回归集比较微调前后的变化。

核心回答

灾难性遗忘是模型在目标领域变好时，原有通用知识、指令遵循、安全边界或其他任务明显退化。常见诱因是数据过窄或重复、学习率和训练步数过大，以及全参数更新造成分布偏移。缓解方法包括混入高质量通用样本、使用 LoRA 等局部更新、降低学习率并早停、对基座行为加入 KL 或参数约束，以及持续做多能力回归。没有单一方法能保证完全避免遗忘。

展开说明

首先要区分遗忘与普通分布差异：若基座在某任务上原本就不会，微调后仍不会不能称为遗忘。应固定基座结果，比较领域内、通用、事实性、安全和格式等维度的变化。只看总平均分可能掩盖少数关键能力的大幅下降。

数据混合让训练继续看到原有行为，但混合比例过高会稀释领域信号；Adapter 限制更新范围，却仍可能通过输出行为造成回归；KL 约束过强则可能让模型学不到新任务。因此这些手段需要通过 Pareto 取舍，而非无限加强。

工程实践

建立“基座—每个检查点—最终模型”的回归矩阵，按领域与风险切片。保存训练数据版本、采样权重、学习率和更新范数；发现通用能力先升后降时可使用早停。上线前还应对真实 OOD 请求、拒答边界和长尾格式做人工抽检。

常见追问

1. 如何证明某项掉分来自遗忘，而不是评估噪声？ 固定评测版本，对微调前后模型做多随机种子或 bootstrap 置信区间，并在多个相关任务上确认一致、显著退化。
2. 通用数据混合比例过高会有什么副作用？ 它会稀释领域梯度，使训练成本增加、领域收敛变慢，极端情况下几乎学不到新行为。
3. 使用 LoRA 是否就不会发生行为层面的遗忘？ 不会。基座参数虽冻结，激活 LoRA 后输出分布仍可能覆盖原有能力；必须在最终组合模型上做通用回归。

一句话复习

遗忘要用基座对照和多能力回归识别，再以数据混合、受限更新和训练约束平衡新旧能力。

参考资料

• 面试主题：Hugging Face 社区 AI 工程师面试复盘
• 技术依据：InstructGPT、The Llama 3 Herd of Models