PPO 中 GAE 如何估计 Advantage 并权衡偏差与方差？

面试时怎么答

先写一步 TD 残差 \(\delta_t=r_t+\gamma V(s_{t+1})-V(s_t)\)，再写 GAE 对未来残差按 \((\gamma\lambda)^l\) 加权。解释 \(\lambda\) 时不要机械说越大越好：小 \(\lambda\) 更依赖 Critic，方差低但偏差可能大；大 \(\lambda\) 接近长回报，偏差小而方差高。追问截断轨迹时要提正确 Bootstrap。

可以这样答：

GAE 先计算 TD 残差 \(\delta_t=r_t+\gamma V(s_{t+1})-V(s_t)\)，再令优势为 \(A_t=\sum_l(\gamma\lambda)^l\delta_{t+l}\)。\(\lambda\) 较小时更依赖价值函数，估计方差低，但 Critic 误差会带来偏差；\(\lambda\) 接近 1 时利用更长回报，偏差通常更小而方差更高。轨迹因长度上限截断时，还要区分真正终止与需要 Bootstrap 的非终止状态。

核心回答

GAE 用多步 TD Residual 的指数加权和估计 Advantage。先定义 \(\delta_t=r_t+\gamma V(s_{t+1})-V(s_t)\)，再计算：

\[\hat{A}_t=\sum_{l=0}^{T-t-1}(\gamma\lambda)^l\delta_{t+l}\]

\(\gamma\) 控制远期奖励折扣，\(\lambda\) 控制使用多长的 TD 信息：\(\lambda=0\) 接近一步 TD，方差较低但更依赖 Value 准确性；\(\lambda\to1\) 接近 Monte Carlo 回报减基线，通常偏差更低、方差更高。

LLM PPO 可把每个生成 token 看成一步，状态是 Prompt 加已生成前缀，动作是下一个 token。任务奖励常在序列末尾给出，KL 惩罚可按 token 分布；GAE 把这些信号向前传播，同时用 Critic 作为基线。

展开说明

GAE 也可递推实现：从序列末尾向前计算 \(\hat{A}_t=\delta_t+\gamma\lambda m_{t+1}\hat{A}_{t+1}\)。其中 \(m_{t+1}\) 在真实终止处为零，Padding 位置完全不参与；若只是因最大长度截断而非环境终止，是否 Bootstrap \(V(s_{t+1})\) 要与数据定义一致。

这里的 Bias–Variance 并非只由 \(\lambda\) 决定。Critic 误差、Reward Scale、序列长度、\(\gamma\)、截断和 Reward Whitening 都会影响估计。若所有奖励只在末尾且序列很长，小 \(\gamma\lambda\) 会让早期 token 几乎得不到信号；过大的值又会把高方差终局奖励传给整段。

工程实践

实现时对一条短轨迹手算 \(\delta\) 和 \(\hat{A}\)，验证反向递推、EOS、Padding 与 truncation mask。监控 explained variance、Advantage 均值/标准差、不同位置的绝对 Advantage 和 Value loss。调 \(\gamma\)、\(\lambda\) 时保持 Reward 与 KL 定义不变，并通过最终任务指标和训练稳定性共同选择。

常见追问

GAE 为什么需要 Critic？ \(V(s_t)\) 构成 TD Residual 的基线，用于降低回报估计方差；Critic 偏差也会进入 Advantage。
\(\lambda=1\) 就一定无偏吗？ 只有在相应终止、折扣和 Bootstrap 条件下才接近 Monte Carlo 估计；\(\gamma<1\)、截断和错误 Mask 仍会引入偏差。
LLM 只有序列级奖励，token 级 Advantage 从哪里来？ 终局奖励通过 GAE 递推向前传播，逐 token KL 或其他 shaped reward 也可直接进入各步 \(r_t\)。

一句话复习

GAE 把多步 TD 误差按 \((\gamma\lambda)^l\) 加权，在依赖 Critic 的低方差一步估计与高方差长回报之间连续折中。