KTO 如何用非成对的好坏反馈做偏好对齐？

面试时怎么答

KTO 的关键卖点是不用成对的 chosen/rejected 数据，因此开头就把它与 DPO 的数据要求分开。随后说明好坏样本怎样相对参考策略形成效用信号，以及类别权重为何重要；若继续追问，重点讨论非成对标签噪声、好坏比例失衡和长度偏差。

可以这样答：

KTO 可以直接使用非成对的好/坏反馈，不要求每个 Prompt 都同时有 chosen 和 rejected。它比较当前策略与参考策略的对数概率，把 desirable 响应向上推、undesirable 响应向下压，并允许两类样本使用不同权重。优势是容易利用线上反馈，风险是标签噪声、类别失衡和长度偏差仍会把策略带偏。

核心回答

KTO 面向只有 desirable 或 undesirable 标签的单条回答，不要求同一 Prompt 下严格配成 chosen/rejected。它定义相对 Reference Policy 的隐式收益：

\[r_\theta(x,y)=\log\pi_\theta(y\mid x)-\log\pi_{\mathrm{ref}}(y\mid x)\]

再把一个与当前策略平均 KL 有关的 Reference Point \(z_{\mathrm{ref}}\) 作为“收益/损失”分界，用前景理论风格的价值函数奖励好样本高于基线、坏样本低于基线。

概念上，好样本的价值项可写成 \(\sigma\!\left(\beta(r_\theta-z_{\mathrm{ref}})\right)\)，坏样本则写成 \(\sigma\!\left(\beta(z_{\mathrm{ref}}-r_\theta)\right)\)，并分别乘类别权重。\(\beta\) 控制相对 Reference 的约束尺度，正负样本权重用于处理数据不平衡。精确实现应以论文定义为准，包括 KL 基线估计和 Batch 近似。

展开说明

DPO 的核心比较发生在同一 Prompt 的两个回答之间；KTO 把每条带二元反馈的回答与一个全局或批内 Reference Point 比较，因此可以利用点赞/点踩、是否接受等自然产生的非成对日志。它仍需要 Reference Model 计算 log-ratio，并非 Reference-free 方法。

非成对数据更易收集，却更容易混入 Prompt 难度和用户群差异：一个回答被点踩，可能因为任务本来就难或界面问题，而非回答质量。KTO 的类别权重能处理数量失衡，不能自动消除标签选择偏差。若能获得同 Prompt 高质量 Pair，DPO 等成对方法仍可能提供更直接的相对信号。

工程实践

数据管线应保留 Prompt、回答、反馈来源、曝光策略和时间，过滤机器人点击与重复用户。训练时监控正负样本 loss、隐式收益、KL、回答长度和 Reference Point，避免类别权重把少数噪声样本放大。离线评测要按反馈来源分层，并与相同数据预算的 SFT、DPO 基线比较。

常见追问

KTO 完全不需要 Preference Pair 吗？ 训练样本可以只有单条好/坏标签；若原始数据有 Pair，也可拆成两个带标签样本，但会改变建模假设。
KTO 需要 Reference Model 吗？ 需要。它用 \(\log\pi_\theta-\log\pi_{\mathrm{ref}}\) 和 KL 相关基线定义相对收益，不应与 Reference-free 的 SimPO 混淆。
正负样本很不平衡怎么办？ 可按论文约束调整两类权重并分层采样，但还需检查少数类标签质量，不能只靠加权解决偏差。

一句话复习

KTO 把每条非成对好坏反馈与 KL 相关 Reference Point 比较，用前景理论式价值函数完成偏好对齐。

参考资料

KTO: Model Alignment as Prospect Theoretic Optimization