偏差与方差如何解释欠拟合和过拟合？

面试时怎么答

用训练误差与验证误差的组合做诊断最直观：两者都高更像高偏差；训练低、验证高更像高方差。再说明增加容量通常降低偏差却可能提高方差，更多数据和合适正则常用于压方差。若面试官指出分布漂移，也要承认 validation gap 不一定全由过拟合造成。

可以这样答：

偏差反映模型假设过强、连训练规律都学不好的误差，方差反映模型对训练样本扰动过于敏感。训练误差和验证误差都高时，通常先检查高偏差；训练很低而验证明显更差时，通常先检查高方差。增加模型容量可能降偏差却升方差，增加数据和正则化常能抑制方差，但数据泄漏或分布漂移也会造成类似现象。

核心回答

在平方损失等条件下，测试误差可以分解为偏差平方、方差和不可约噪声。偏差高表示模型的平均预测离真实规律较远，常见于模型能力不足、特征不够或正则过强；方差高表示换一份训练集，模型预测就明显变化，常见于数据少、模型过复杂或训练约束不足。欠拟合通常表现为训练误差和验证误差都高，过拟合通常是训练误差低、验证误差明显更高，但不能只凭模型大小下结论。

展开说明

对目标 \(y=f(x)+\varepsilon\)，若噪声均值为零，某点上的期望平方误差可写成 \(\operatorname{Bias}^2+\operatorname{Variance}+\sigma^2\)。增加模型容量往往降低偏差、提高方差，更多有效数据、合适正则和集成通常能抑制方差；更好的特征、模型结构或优化则可能降低偏差。现代深度网络存在双下降等现象，所以“模型越大方差必然越高”只是经典直觉，不是普遍定律。

工程实践

先画随训练样本数变化的学习曲线：训练、验证误差都高时优先改善表示、容量或优化；训练低而验证高时，先排查数据泄漏和分布漂移，再考虑增加数据、正则、数据增强、早停或简化模型。LLM 场景还要按领域、长度和任务拆分验证集，避免一个平均分掩盖局部退化。

常见追问

增加训练数据主要降低什么？ 通常主要降低估计方差；如果特征或模型表达能力根本不足，高偏差未必会随数据量明显下降。
正则化一定只会降低方差吗？ 它通常以增加一些偏差换取更低方差，但最终测试误差是否下降要由验证结果判断。
训练误差和验证误差都很低就代表能上线吗？ 不一定，还要确认切分没有泄漏、验证分布覆盖线上输入，并检查重要子群体和时间漂移。

一句话复习

偏差描述系统性学不对，方差描述换数据就不稳定；用训练—验证差距和学习曲线定位，而不是机械地看模型大小。

参考资料

面试主题：LLM Interview Questions
技术依据：Deep Learning Book：Machine Learning Basics