典型的大模型管道可以分为如Fig 1所示的几部分，其中的行为模拟（Behavior Mimic）通常是通过指令微调（Supervised Fintune, SFT）的方式，使得模型可以从预训练后的续写模型，变为一个可以遵循用户指令进行回答的模型，通过偏好对齐（Preference Alignment）能够使得回答更具有人类偏好。存在不少工作认为行为模拟只是对模型回答的格式进行规范，是一种偏向于『记忆（Memorize）』的过程 [2,3]，而偏好对齐才是能进一步提高模型泛化能力的关键 [3]。至于说到推理时扩展（Inference-time Scaling），则是考虑在推理阶段采用复杂的答案采样/答案改写方式，提升模型的最终性能，可参考笔者在博文 [4] 中的介绍。
Fig 1. 典型的大模型训练和推理管道。
Best-of-N （下文简称BoN）采样是推理时扩展的一种经典做法，指的是给定一个提示词x， 大模型对其进行采样N次，得到N个完整回答
,
，通过奖励模型分别打分得到N个奖励打分
，取其打分最高的作为BoN结果。整个过程可以表示为公式 (1) 所示
作者在文中证明了BoN结果是考虑了KL散度约束情况下的渐进最优策略，在论文 [5] 中同样进行了这一点的证明，整个过程比较复杂，笔者也没完全看懂，尽量挑一些关键结论和过程进行解释。
首先我们看到偏好对齐，偏好对齐的目标是对于一个SFT后的模型，称之为，我们希望学习出一个新模型
，
应该在某个指标层面上要优于
。为了使得训练过程可控，我们也不希望
太过远离
，可以考虑用KL散度去度量这两者的距离，其中
为给定了提示词x情况下的KL散度，而
则是对提示词集合D进行求期望得到的KL散度。KL散度取值范围为
，越小表示两个分布之间差别越小。
一种可以考虑衡量优于
的指标是胜率（win-rate），定义如下公式（3）所示，也就是通过奖励函数去判断
优于
的概率。
不妨可以将偏好对齐看成是一个探索&利用（Explore and Exploit）的过程，如Fig 2所示，消耗KL散度距离衡量和初始模型的偏离程度，可以认为是探索程度，用奖励模型新探索的模型进行评估，则可看成是利用过程。因此KL距离是一种可消耗的资源，这个观点在一些工作中也有所体现，可参考 [6]。为何不希望新策略太过于偏离初始策略呢？笔者的理解是：
如果不在训练过程中对此进行约束，新策略可能会容易出现大幅度偏离初始策略，导致整个训练过程不稳定且难以控制。奖励模型通常是在初始策略模型的基础上，采样后进行人工标注样本训练得到的，也就是说如果新策略模型太过于远离初始策略模型，那么很可能会出现奖励模型无法很好地衡量新策略模型效果的情况，从而导致过拟合。
Fig 2. 在偏好对齐过程中，通过消耗KL距离探索新策略模型，而奖励模型作为『法官』进行效果判断。偏好对齐的方法整体有两种，第一个通过人工反馈的强化学习方法（RLHF），如公式（4）所述；
第二种则是通过对比式方法（Contrastive methods），典型的如DPO方法，如公式（5）所示。
RLHF方式显式地引入KL散度约束项，而DPO方法则通过新策略模型分布和初始策略模型分布进行比较的方式，都一定程度上约束了新策略模型不至于偏离初始策略模型。如果奖励模型是Bradley-Terry模型，那么有：
作者文中说因此RLHF和DPO的解析解则可以表示为（对此，笔者不知道具体推导过程，望请教）：
也就是说新策略模型是对初始策略模型的加权，而权值会收到奖励模型的影响。作者认为不仅对于RLHF和DPO，对于包括BoN方式在内的一切对齐策略来说，存在统一的表达，即是有：
其中的是一个非减函数，会收到不同提示词x的影响。基于此，可以推导出BoN方式的胜率为（具体过程参考原论文）:
那么最优策略的胜率如何呢？首先我们定义最优策略，就是在给定的KL散度情况下能取得尽可能高的胜率，如公式（10）所示：
此时可以推导出最优策略模型为：
那么最优策略的胜率可以表示为
如果对BoN和最优策略分别绘制曲线图的话，如Fig 3所示，会发现BoN方式是在有KL散度约束下的渐进的最优策略。
Fig 3. 就胜率与KL散度的关系而言，BoN本质上与最优策略表现一致。就胜率与KL散度的关系而言，BoN本质上与最优策略表现一致。 左图：BoN与最优策略的胜率随KL散度变化曲线。右图：不同n值下最优策略与BoN策略的胜率差异。
那么问题来了，如何将模型的BoN的结果蒸馏到模型自身上呢？本文提出了BoNBoN方式，损失函数如公式（13）所示
损失的第一项为SFT损失，其
为BoN结果，显然这种方法只是采用了BoN结果作为模仿目标，并没有充分利用数据，比如Worst-of-N（WoN）部分的数据。
而损失的第二项是一个对比式的损失IPO（是DPO的升级，添加了正则项减少过拟合），关于这里的正则项文中附录有推导，博文就不赘述了。IPO-BoN损失不仅采用了BoN结果作为正向样本（也就是
，还采用了WoN结果作为负向样本（也就是
），数据的利用率更高。
在实验部分，作者比较了Summarization和helpful and Harmless这两块任务，如Fig 4.所示，其中的黑线（BoN theoretical）是根据公式（9）绘制出来的，而BoN Sampling则是真实采样得到的结果，可以发现是能够符合曲线的。我们看这个图，应该从两个维度看：
胜率越高，说明相比初始策略模型效果更好越接近Reference Model（无论是KL散度还是平均响应长度），说明消耗的KL距离越少，则是更占优势（笔者认为是胜率计算更加准确）从这个分析角度看，我们发现BoNBoN方法在消耗更少KL距离（或者和初始策略模型更加接近长度的平均响应长度）的情况下，能取得更高的胜率。此外，我们看到DPO BoN 效果持续远远优于DPO original HH，后者是采用HH数据（也就是所谓的off-policy的数据），而前者则来自于模型自身的BoN结果组建偏序数据，也就是所谓的on-policy数据。从这个结果，我们得到一个结论是，应当尽可能采用on-policy数据进行模型偏好对齐，即便这些结果可能相对来说比较弱（对比其他更好的模型采样或者标注）。
Fig 4. BoNBoN在实现高胜率的同时，对生成过程中非目标方面的影响极小（也就是偏离初始策略模型的程度）。每个数据点代表采用特定对齐方法的模型，我们使用一个Ranker测量其相对于基础模型的胜率。为评估非目标行为的改变，我们同时测量了估计的KL散度（左图）和平均响应长度（右图）。上方：BoNBoN与基线模型在摘要任务中的对比结果。
下方：BoNBoN与基线模型在单轮对话任务中的对比结果。读后感笔者看完这篇文章后，第一感觉就是公式好多… 其实整个蒸馏BoN结果的思路很直接，就是在SFT的基础上添加了一个DPO类的损失（或者反过来说，在DPO偏好对齐的基础上加了一个SFT行为模仿），其实整篇文章很多篇幅在证明BoN是KL约束下的渐进最优策略，然后想办法去接近BoN。因此我总结从这篇文章得到的收获的话：
BoN是LLM的KL约束限制下的渐进最优策略新策略模型可以表示为初始策略模型的分布加权on-policy vs off-policy 数据作为偏好对齐，应当尽可能采用前者SFT+DPO类损失能够更加充分利用数据
Reference
[1]. Gui, Lin, Cristina Gârbacea, and Victor Veitch. “Bonbon alignment for large language models and the sweetness of best-of-n sampling.” arXiv preprint arXiv:2406.00832 (2024). aka BoNBoN
[2]. Zhou, Chunting, Pengfei Liu, Puxin Xu, Srinivasan Iyer, Jiao Sun, Yuning Mao, Xuezhe Ma et al. “Lima: Less is more for alignment.” Advances in Neural Information Processing Systems 36 (2023): 55006-55021. aka LIMA
[3]. Chu, Tianzhe, Yuexiang Zhai, Jihan Yang, Shengbang Tong, Saining Xie, Dale Schuurmans, Quoc V. Le, Sergey Levine, and Yi Ma. “Sft memorizes, rl generalizes: A comparative study of foundation model post-training.” arXiv preprint arXiv:2501.17161 (2025).
[4]. 《大模型推理时的尺度扩展定律》, https://fesianxu.github.io/2025/03/02/test-time-scaling-laws-20250302/
[5]. Yang, Joy Qiping, Salman Salamatian, Ziteng Sun, Ananda Theertha Suresh, and Ahmad Beirami. “Asymptotics of language model alignment.” In 2024 IEEE International Symposium on Information Theory (ISIT), pp. 2027-2032. IEEE, 2024.
[6]. 《奖励模型中的尺度扩展定律和奖励劫持》, https://fesianxu.github.io/2025/02/09/scaling-law-in-reward-model-20250209/