Weak-to-Strong Generalization via Direct On-Policy Distillation

论文元数据

• Authors: Shiyuan Feng, Huan-ang Gao, Haohan Chi, Hanlin Wu, Zhilong Zhang, Zheng Jiang, Bingxiang He, Wei-Ying Ma, Ya-Qin Zhang, Hao Zhou
• Publication date: 2026-07-08T00:00:00.000Z
• arXiv: https://arxiv.org/abs/2607.05394
• PDF: https://arxiv.org/pdf/2607.05394
• Project: https://bytedtsinghua-sia.github.io/Direct-OPD/
• Code: 未提供
• 本次阅读输入： 文本回退

---

Weak-to-Strong Generalization via Direct On-Policy Distillation：深度阅读与批判性解读报告

• 论文题目： Weak-to-Strong Generalization via Direct On-Policy Distillation
• 作者： Shiyuan Feng、Huan-ang Gao、Haohan Chi、Hanlin Wu、Zhilong Zhang、Zheng Jiang、Bingxiang He、Wei-Ying Ma、Ya-Qin Zhang、Hao Zhou
• 日期： 2026 年 7 月 9 日
• 来源： arXiv:2607.05394v2（文本提取件）
• 关键词： RLVR、弱到强泛化、On-Policy Distillation、隐式奖励、KL 正则化、推理模型后训练

阅读范围与证据边界

本报告的输入是从论文 PDF 提取出的全文 Markdown 文本，属于 文本回退（text fallback）输入。我没有直接检查 PDF 页面布局、颜色、曲线的视觉几何关系、图中线型/标记的精确对应、未能提取出的图表细节或任何不可从文本恢复的可视证据。

因此：

1. 对公式、正文段落、图注、可提取表格数字、坐标轴文字和实验设定的讨论，属于论文文本提供的直接证据。
2. 对图 1–11 的讨论仅依据提取到的图注、轴标签、数字和正文引用；不会宣称“肉眼观察到”某条曲线形状、颜色差异、误差条、显著性标记或版面关系。
3. 文本中未报告随机种子、重复运行次数、置信区间、标准差、显著性检验、完整训练数据配比、硬件互联配置、模型 checkpoint 精确版本等信息；这些缺失限制了对稳定性、统计显著性、成本复现和泛化性的判断。
4. 本报告严格区分：
   • 作者主张：论文明确声称的机制或结果；
   • 论文直接证据：文中公式、实验设置、表格和图注实际给出的材料；
   • 分析者判断：基于上述材料作出的解释、批评和不确定性说明。

---

第一阶段：论文框架总结

1. 论文标题和摘要

研究对象

论文研究的是大语言模型推理能力的后训练，具体聚焦于：能否先在较小、较便宜的模型上执行带可验证奖励的强化学习（RLVR），再把这次小模型 RL 所得到的“改进方向”迁移给更强的目标模型，而不必在每一个大模型上重复进行昂贵的在线 RL。

核心问题

RLVR 的主要代价来自训练中持续由当前策略生成 rollout、获得可验证奖励并更新策略。模型越大，生成和训练越昂贵。标准蒸馏又面临弱到强场景中的关键矛盾：弱教师的最终策略虽然包含 RL 收益，也包含其本身的能力上限；直接让强学生模仿弱教师，可能反而覆盖学生已有的更优行为。

论文要回答的问题是：

能否把弱模型 RL 过程真正“学到的改进信号”从弱模型本身的绝对能力中剥离出来，并将其作为可复用的训练信号迁移给更强学生？

方法

作者提出 Direct On-Policy Distillation（Direct-OPD）。方法不直接蒸馏 RL 后教师 ${\pi }_T$ 的概率分布，而使用同一教师 RL 前后 checkpoint 的对数概率差：

$${\Delta }_T(y\mid x)=\log {\pi }_T(y\mid x)-\log {\pi }_{Tref}(y\mid x).$$

其中：

• $x$ 是输入 prompt；
• $y$ 是完整回答；
• ${\pi }_{Tref}$ 是弱教师 RL 前的参考策略；
• ${\pi }_T$ 是弱教师 RL 后的策略；
• ${\Delta }_T$ 表示 RL 让该教师对一个回答“相对更偏好或更抑制”的程度。

作者将该差异解释为 KL 正则化 RL 下的隐式奖励：它保留 RL 所推动的方向，而尽量去除弱教师在训练前已有的能力局限。学生在自己的 on-policy 状态上读取该 token 级信号，并通过相对于自身初始化策略的 KL 项保持约束。

最主要发现

作者主张：

• Direct-OPD 能用弱教师的 RL-induced policy shift 改善比教师更强的学生。
• 以 R1-Distill-1.5B $\to$ JustRL-1.5B 的教师对为例，Direct-OPD 可将 Qwen3-1.7B 在 AIME 2024 的 ave@32 从 48.3% 提升至 58.3%，训练约需 8 张 A100、4 小时。
• 在所报告的实验中，它优于步数匹配的直接大模型 RL，并允许顺序组合多个独立 policy shift。
• 该方法不必要求学生与教师具有高 top-$k$ token overlap，也不只是模仿教师最终推理模式。

摘要能够支持与不能支持的边界

摘要和正文可直接支持的结论是：在论文测试的数学推理任务、教师对、学生模型、训练步骤和评估协议下，Direct-OPD 与性能提升、低于直接大模型 RL 的训练成本以及多个 shift 的顺序组合相一致。

但摘要本身不能证明：

• 该方法能泛化至非数学推理、语言理解、代码、对齐、安全或开放式生成任务；
• policy shift 在一般意义上等价于“真实奖励”，而非仅在 KL 正则化最优性假设下具有奖励等价形式；
• 小模型 RL 总是优于大模型 RL；
• 性能提升具有统计显著性或在不同随机种子下稳定；
• 该方法对所有模型家族、tokenizer、训练数据、prompt 模板及 RL 算法都成立。

---

2. 引言

背景与动机

作者从 RLVR 已成为推理模型重要后训练范式出发。其逻辑链条是：

1. RLVR 能显著强化数学和可验证推理能力；
2. 但 RL 需要在线采样，成本会随目标模型规模增加；
3. 因而每一个新大模型都重复运行 RL，会成为后训练瓶颈；
4. 小模型 RL 更便宜，但直接模仿小模型最终策略会把小模型能力上限一并蒸馏给强学生；
5. 所以要迁移的对象不应是“弱教师最终会做什么”，而应是“RL 相对改变了弱教师什么”。

这是一个合理且有现实工程价值的问题设定。它不是简单的模型压缩，而是试图把一次 RL run 产出的行为变化转化为跨模型尺度可复用的监督资产。

前人工作的不足与论文定位

作者将已有路线分为几类：

• 直接 RLVR： 在每个目标模型上重新运行 RL，成本高。
• 离线/序列级蒸馏： 蒸馏教师输出，但分布偏移会使学生在自身状态上失败。
• 标准 OPD： 在学生自己采样的状态上匹配教师分布，解决部分分布偏移；但仍蒸馏教师的绝对分布。
• 弱到强泛化： 希望弱监督激发强模型能力，但许多方法仍以弱模型标签、偏好或输出分布作为监督，存在被弱监督上限限制的风险。
• DPO / 隐式奖励： 从策略与参考策略的概率比中恢复奖励的理论视角，但通常用于从偏好直接训练策略，而不是反向读取已完成 RL 的“奖励信号”。

论文的关键定位是：将一对弱模型 checkpoint 的策略比值视作 RL 后训练留下的“行为差分”，然后在强学生自己的状态上应用该差分。

问题设定必要性评价

作者直接论证的必要性： 大模型 RL rollout 昂贵、弱模型终态蒸馏会伤害强学生，二者共同推动了 Direct-OPD 的必要性。

分析者判断： 这个问题设定在工程上成立，但论文的“必要性”还未被完整量化。尤其是它没有系统比较：

• 小模型 RL + Direct-OPD 与参数高效 RL、离线 RL、合成数据 SFT、过程奖励模型训练等方案的总拥有成本；
• 训练教师对、存储多 checkpoint、教师前向打分和调参的全生命周期成本；
• 不同规模下真正的 wall-clock、GPU-hours、吞吐和通信瓶颈；
• 在大模型直接 RL 已具备更强稳定性或奖励质量时，弱到强转移是否仍有优势。

因此，论文有力地建立了“值得探索”的动机，但还没有证明其方法是所有后训练预算配置下的最优选择。

---

3. 正文部分

2. Direct On-Policy Distillation

2.1 预备知识：On-Policy Distillation

模型为自回归策略。对于 prompt $x$ 和回答 $y=(y_1,\dots ,y_T)$：

$$\log \pi (y\mid x)=\sum _{t=1}^T\log \pi (y_t\mid s_t),$$

其中 $s_t=(x,y_{<t})$ 是第 $t$ 个 token 前缀状态。

文中区分四个策略：

• ${\pi }_{\theta }$：正在训练的学生；
• ${\pi }_S$：学生初始 checkpoint；
• ${\pi }_{Tref}$：教师 RL 前 checkpoint；
• ${\pi }_T$：教师 RL 后 checkpoint。

标准 OPD 的目标是在学生自己采样的轨迹上，使学生分布接近教师最终分布：

$$L_{\mathrm{OPD}}(\theta )={\mathbb{E}}_{x\sim D}\left[D_{\mathrm{KL}}({\pi }_{\theta }(\cdot \mid x)\Vert {\pi }_T(\cdot \mid x))\right].$$

在实际实现中，教师只在学生当前 token 分布的 top-$k$ 支持集上被查询。该近似降低了教师 scoring 成本，也把训练限制在学生当下实际考虑的候选 token 上。

关键限制： 标准 OPD 的教师目标是 ${\pi }_T$ 本身。当 ${\pi }_T$ 是弱教师时，其最终分布混合了 RL 获益和能力上限；学生若已经更强，拟合 ${\pi }_T$ 可能造成退化。论文以图 1a 的 R1-Distill-7B 实验作为此问题的示例。

2.2 Policy Shift 作为隐式奖励

论文定义教师 RL 前后变化：

$${\Delta }_T(y\mid x)=\log {\pi }_T(y\mid x)-\log {\pi }_{Tref}(y\mid x).$$

正值代表该回答在 RL 后相对更可能，负值代表相对被抑制。

作者借助 KL 正则化 RL 的封闭解：

$${\pi }^{\ast }(y\mid x)\propto {\pi }_{ref}(y\mid x)\exp (r(x,y)/\beta ),$$

进而得到：

$$\log \frac{{\pi }^{\ast }(y\mid x)}{{\pi }_{ref}(y\mid x)}=\frac{1}{\beta }r(x,y)-\log Z(x).$$

其中：

• $r(x,y)$ 是奖励；
• $\beta >0$ 是 KL 正则化强度；
• $Z(x)$ 是对同一 prompt 固定的归一化项。

因此，若 ${\pi }_T$ 可视为以 ${\pi }_{Tref}$ 为参考策略、针对潜在奖励 $r_T$ 所得到的 KL 正则化最优策略，则：

$${\Delta }_T(y\mid x)=\frac{1}{\beta }{r}_T(x,y)-\log Z_T(x).$$

作者主张： ${\Delta }_T$ 因而是奖励的等价表示，差一个正比例缩放和 prompt 相关常数。

分析者判断： 这个结论依赖较强前提：教师后策略要足够接近某个 KL 正则化目标的最优解，且参考策略、奖励、优化过程和实际训练实现之间要满足该理论关系。真实 GRPO/RLVR 训练是有限步、函数逼近、采样噪声、裁剪、优化器动态和可能多奖励项混合的过程，因此 ${\Delta }_T$ 更严格地说是“可用的奖励代理”或“行为改变量”，不能无条件等同于真实潜在奖励。

2.3 Direct-OPD 目标

理想化的序列级目标为：

$$J_{\mathrm{Direct}\text{mbox}-\mathrm{OPD}}(\theta )={\mathbb{E}}_{x\sim D}\left[{\mathbb{E}}_{y\sim {\pi }_{\theta }(\cdot \mid x)}[{\Delta }_T(y\mid x)]-\alpha D_{\mathrm{KL}}({\pi }_{\theta }(\cdot \mid x)\Vert {\pi }_S(\cdot \mid x))\right].$$

其中 $\alpha >0$ 控制学生偏离自身初始化策略 ${\pi }_S$ 的程度。

相应最优形式为：

$${\pi }^{\ast }(y\mid x)\propto {\pi }_S(y\mid x)\exp \left(\frac{1}{\alpha }{\Delta }_T(y\mid x)\right)={\pi }_S(y\mid x){\left(\frac{{\pi }_T(y\mid x)}{{\pi }_{Tref}(y\mid x)}\right)}^{1/\alpha }.$$

这揭示了方法的核心：学生不是靠近弱教师终态 ${\pi }_T$，而是在自身初始能力的基础上，沿教师 RL 改变概率质量的方向被重新加权。

序列级 shift 可精确分解为 token 级 shift：

$${\Delta }_T(y\mid x)=\sum _t{r}_t(y_t\mid s_t),r_t(v)=\log {\pi }_T(v\mid s_t)-\log {\pi }_{Tref}(v\mid s_t).$$

实现中，作者用学生 top-$k$ 候选集上的解析期望替代单样本 token policy gradient，以降低 token 采样方差。最终梯度使用经过 stop-gradient 的权重：

$$A_t^w(v)=stop\_gradient\left({\bar{p}}_t(v)\cdot r_t(v)\right).$$

这是一种 Rao–Blackwellization：轨迹仍由学生采样，但每个访问状态下的 token 行动不只看一个样本，而是在 top-$k$ 候选上求期望。

潜在失效条件：

• 学生 top-$k$ 支持与教师 shift 有用的 token 严重错位；
• 教师/reference 在学生访问状态上都处于低概率、OOD 区域，导致 log-ratio 数值大但语义不可靠；
• 教师 RL 实际改善并不对应学生任务所需能力；
• 零折扣、即时 token reward 近似不能正确处理跨 token 的长程 credit assignment；
• top-$k$ 截断遗漏了有价值但当前学生概率较低的动作。

2.4 自适应 KL 控制

教师 shift 的绝对尺度由教师训练中的奖励尺度和 KL 预算共同决定，但从 checkpoint 对本身无法恢复。因此固定 $\alpha$ 跨教师对和学生对不一定可迁移。

作者用 batch 平均学生加权 shift 的符号调节 $\alpha$：

$${\alpha }_{m+1}=\mathrm{clip}\left({\alpha }_m(1+ϵ\mathrm{sgn}({\bar{r}}_m)),{\alpha }_{\min },{\alpha }_{\max }\right),$$

默认：

• $ϵ=0.01$；
• $[{\alpha }_{\min },{\alpha }_{\max }]=[0.5,2.5]$。

其直觉是：

• 若平均 dense reward 为正，则提高 $\alpha$，抑制过度放大正方向；
• 若平均 reward 为负，则降低 $\alpha$，弱化对初始策略的锚定，使学生能更容易远离被 RL 抑制的 token；
• 目标不是让 KL 达到固定值，而是让局部 shift 信号保持平衡和可用。

批判性评价： 该控制器十分轻量，但其理论保证有限。以 batch 均值 reward 的符号作为控制信号非常粗糙：均值接近零并不必然说明 token 级排序正确，也不必然说明模型性能最佳。论文图 9 显示“更高 dense reward 并不总对应更高验证性能”，这实际上也提醒我们，控制器所追踪的 proxy 与最终任务指标之间存在未充分建模的关系。

---

3. Experiments

3.1 弱 RL 教师改善更强学生

教师对一：

• ${\pi }_{Tref}$：R1-Distill-1.5B；
• ${\pi }_T$：JustRL-1.5B。

学生：

• R1-Distill-7B；
• Qwen3-1.7B；
• Qwen3-4B。

教师对二：

• Nemotron-1.5B；
• QuestA-Nemotron-1.5B。

第二组用于检验效果是否限于 JustRL 教师的训练流水线和数据来源。

表 1 报告的关键结果如下：

教师对	学生	AIME 2024	AIME 2025
JustRL	Qwen3-1.7B	48.3 → 58.3（+10.0）	36.8 → 43.2（+6.4）
JustRL	Qwen3-4B	72.5 → 77.6（+5.1）	65.6 → 68.8（+3.2）
JustRL	R1-Distill-7B	56.7 → 63.1（+6.4）	40.5 → 48.8（+8.3）
QuestA	Qwen3-1.7B	48.3 → 59.0（+10.7）	36.8 → 43.1（+6.3）
QuestA	R1-Distill-7B	56.3 → 61.2（+4.9）	39.5 → 44.0（+4.5）

其中 JustRL-1.5B 在 AIME 2024/2025 为 51.3/37.5；R1-Distill-7B 与 Qwen3-4B 在初始状态已超过该弱教师。

论文直接证据： 在这些指定模型、两个 AIME 基准和 ave@32 协议中，Direct-OPD 后的分数高于相应学生初始分数。

作者解释： 这表明迁移的是小模型 RL 产生的“改进方向”，而不是弱模型的终态能力。

分析者判断： 结果确实排除了最简单的“学生只能被教师上限束缚”的解释，但尚不能单独证明 shift 是唯一机制。仍可能存在训练数据、prompt 模板、已有数学能力、模型家族共享结构、教师打分分布、评估泄漏或超参数选择对提升的共同作用。尤其 Qwen3-1.7B 与 R1-Distill/JustRL 之间并非完全无关的生态系统，跨架构和跨 tokenizer 的验证仍不足。

3.2 弱到强路线与直接 RL 的比较

作者比较两条训练路径：

1. 直接 RL： 在 R1-Distill-7B 上做 RL；
2. 弱到强： 先让 R1-Distill-1.5B 训练 RL，再把各 checkpoint 的 policy shift 迁移给 R1-Distill-7B。

小教师 checkpoint 取 RL 第 300、600、900、1200、1500 步，对应 T300–T1500。文中报告：

• 1.5B 模型 1500 步 RL：约 32 张 A100、160 小时；
• 7B 模型 RL：约 32 张 A100、320 小时；
• 后续 Direct-OPD transfer：约 8 张 A100、4 小时。

作者主张： 在匹配 RL 步数下，先在 1.5B 上发现方向再迁移给 7B，性能优于直接在 7B 上运行 RL；在 wall-clock 维度上也更有优势。

直接证据： 图 3 图注说明，T600–T1500 在可比 elapsed time 下高于直接 R1-Distill-7B RL 曲线；Qwen3 nonthinking 的 1.7B $\to$ 4B 迁移则达到直接 4B RL 的 AIME 2025 0.635 水平。

限制：

• “step-matched”不等于“数据样本、token、rollout、FLOPs 或工程预算匹配”；
• 文本没有给出直接 RL 与 transfer 的完整学习曲线数值表；
• 文中没有报告多随机种子、方差或显著性；
• 直接 RL 的超参数是否已充分调优、是否与 Direct-OPD 同等调参预算，无法从现有材料确认；
• 小模型教师 RL 本身仍需 160 GPU-hours（按作者的表述为 32 A100 × 160 小时的量级），若只服务于单一学生，实际成本优势要依赖可复用次数。

3.3 顺序组合

作者先以 R1-Distill-1.5B $\to$ JustRL-1.5B shift 训练 Qwen3-1.7B，再接着用 Nemotron-1.5B $\to$ QuestA-Nemotron-1.5B shift 继续训练。

结果：

阶段	AIME 2024	AIME 2025
初始	48.3	36.8
JustRL shift 后	58.3（+10.0）	43.2（+6.4）
QuestA shift 后	63.8（+15.5）	46.8（+10.0）

作者主张： 不同 RL run 可以学习不同能力，并可以顺序组合到同一学生中。

直接证据： 第二阶段结束的两个 AIME 分数高于第一阶段结束的相应分数。

分析者判断： 这证明了“至少这两个顺序、在该训练设置下存在额外增益”，但并未证明一般可加性。尚缺：

• 交换训练顺序；
• 单独 QuestA shift 的等计算预算对照；
• 同一 shift 重复应用；
• 两个 shift 的显式加法、权重合成或并行优化；
• 任务间冲突与灾难性遗忘；
• 非数学能力的迁移和安全性影响。

---

4. Analysis and Training Dynamics

4.1 无需高 token-overlap 的跨模式迁移

作者采用 top-$k$ 集合重叠率：

$${\mathrm{Overlap}}_k(S,C;s_t)=\frac{\left|{\mathrm{TopK}}_v{\pi }_S(v\mid s_t)\cap {\mathrm{TopK}}_v{\pi }_C(v\mid s_t)\right|}{k}.$$

论文比较学生与 RL 后教师、以及学生与教师 reference 的 top-$k$ overlap。

作者主张：

• 模式相近的 transfer 可能进入较高 overlap 区；
• 跨模式 transfer 的 overlap 保持较低；
• 但低 overlap 场景仍有性能增益，因此 Direct-OPD 不要求学生模仿教师高概率 token。

图 5 和图 6 的文字说明支持：在 QuestA 等跨模式情形，学生没有明显逐步接近教师终态的高 overlap 区；且学生熵没有坍缩。

批判性评价： “低 top-$k$ overlap 但有收益”强力反驳了“必须逐 token 模仿终态教师”的必要性，但仍不足以完全验证“迁移的是抽象推理方向”。top-$k$ overlap 只是局部词表集合指标：不同推理机制可以高 overlap，同一机制也可能低 overlap。要更强地支持机制，应增加轨迹语义分析、步骤类型转移、错误类型变化、因果干预和不同 $k$ 的稳健性分析。

4.2 短训练视野如何改变长 rollout 行为

训练时作者使用 2k token 的回答长度。为检验效果是否局限于直接监督前缀，论文定义：

$$g_t=\sum _{a\in K_t}{\pi }_{\text{actor}}(a\mid x_{\le t})[\log {\pi }_{\text{JustRL}}(a\mid x_{\le t})-\log {\pi }_{\text{R1}}(a\mid x_{\le t})],$$

以及累计 gap：

$$G_T=\sum _{t=1}^T{g}_t.$$

$G_T$ 越大，说明沿学生自身高概率 token，教师后策略相对教师参考策略的加权 log-probability 越高。

文中报告：

• 以 2k response horizon 训练 40 步后，学生在长达约 16k 的固定 rollout 中仍沿 teacher-shift 方向移动；
• 6k 训练视野带来更大的 $G_T$ 偏移，但验证表现更差；
• 在 step 40，AIME 2024/2025 ave@32：2k 为 48.8，4k 为 48.3，6k 为 45.6。

解释： 更长的监督并不必然更好；晚期前缀可能让学生进入教师/reference 都不可靠的分布外区域，log-ratio 大却不代表有用。

批判性评价： 这是论文较有价值的诊断之一：它明确区分“更接近教师 shift”与“任务分数更高”。不过 $G_T$ 自身仍是由同一教师对定义的内部 proxy，不能独立验证 reasoning quality。需要引入过程正确率、错误类型、长链一致性、外部 verifier 分数和独立模型评审。

4.3 KL 如何控制 teacher-shift 奖励可靠性

作者对固定 KL 系数与 adaptive KL 做了比较，指出最佳 KL 系数依赖具体教师—学生对，且较大的 dense token reward 不必带来更好的验证分数。

论文直接证据：

• 图 9 图注称不同教师—学生对偏好不同固定 KL；
• adaptive KL 会在初始调整后把 dense token reward 拉向零附近；
• 较大 reward 可能伴随较差 validation。

作者解释： KL 不只是正则项，还决定学生会访问哪些状态，从而决定教师/reference log-ratio 在这些状态上是否仍可靠。

分析者判断： 这个观点合理，但“reward 均值接近零”作为可靠性指示器目前仍是经验观察。真正可靠性的定义应包含：与外部 reward/verifier 的相关性、teacher shift 在 student states 上的 calibration、OOD 检测、token log-probability 的数值稳定性，以及各类任务表现的预测能力。

---

5. 图片、表格与可视化

以下内容仅依据文本提取的图注、轴标签和正文引用，不表示直接视觉审阅。

图 1a：Direct-OPD 与标准 OPD 的对比

• 展示内容： 从 R1-Distill-7B 出发，标准 OPD 向 JustRL-1.5B 终态教师蒸馏会退化；Direct-OPD 使用 JustRL-1.5B 与 R1-Distill-1.5B 的 shift 则提升 AIME 2024。
• 可提取信息： R1-Distill-7B 初始约 56.7；JustRL-1.5B 教师为 51.3；标准 OPD 后约降至 50；Direct-OPD 曲线提升。
• 作者解读： 终态弱教师的绝对策略会伤害已强于教师的学生；应迁移 RL 改变方向。
• 实际支持： 在该单一教师—学生组合中，标准 OPD 与退化、Direct-OPD 与提升相对应。
• 不能支持： 不能证明所有弱教师终态蒸馏都会失败，也不能从图中得出一般因果机制。
• 不可用证据： 提取文本未可靠保留全部曲线颜色、误差条、重复实验数量或统计标记。

图 1b：弱到强泛化

• 展示内容： 同一 policy shift 被迁移至 Qwen3-1.7B、Qwen3-4B 和 R1-Distill-7B。
• 直接证据： 文本报告增益分别约为 +10.0、+5.1、+6.4 AIME 2024 点。
• 作者结论： 弱教师 RL 的 shift 可改善初始能力已高于弱教师的学生。
• 边界： 仅覆盖三个学生、数学基准和特定教师对。

图 2：跨教师对、跨学生家族的迁移曲线

• 展示内容： JustRL shift 向三种学生迁移，并在 AIME 2024/2025 上测试；QuestA shift 向 R1-Distill-7B 和 Qwen3-1.7B 迁移。
• 作者解释： Direct-OPD 并不依赖单一教师训练流水线、数据来源或学生家族。
• 直接支持： 两个教师对均在所列学生和 AIME 任务上有正向终点提升。
• 不足： 仍只有两个教师对；没有不同语言、不同领域、不同 tokenizer 或显著不同模型架构的系统验证。

表 1：不同学生与教师对的分数汇总

• 展示内容： AIME 2024、AIME 2025 上的初始与 Direct-OPD 后分数。
• 关键结果： Qwen3-1.7B 在 JustRL shift 下为 48.3→58.3；Qwen3-4B 为 72.5→77.6；R1-Distill-7B 为 56.7→63.1。
• 支持的论点： 所报告配置均存在正向绝对分数变化。
• 不能支持： 没有方差、置信区间、种子数和显著性检验，不能判断提升的统计稳定性。

图 3：弱到强路线与直接 RL 的成本—性能关系

• 展示内容： 小模型不同 RL checkpoint（T300–T1500）经 Direct-OPD 转移给 R1-Distill-7B，与直接 7B RL 相比；另有 Qwen3 1.7B→4B nonthinking 示例。
• 作者解读： 在更短 wall-clock 路径中，迁移路线优于直接大模型 RL。
• 直接支持： 图注称 T600–T1500 在可比 elapsed time 下优于直接 RL 曲线；作者报告小模型 1500 步 RL 约 160 小时、7B RL 约 320 小时。
• 注意事项： 未提供全量数表和公平调参预算说明；“matched step”不等于严格 compute-matched。

图 4：顺序 policy-shift 组合

• 展示内容： Qwen3-1.7B 先接受 JustRL shift，再接受 QuestA shift。
• 直接证据： AIME 2024：48.3→58.3→63.8；AIME 2025：36.8→43.2→46.8。
• 作者结论： 独立 RL run 的能力可顺序合成。
• 不能支持： 不证明顺序无关、组合可扩展到许多任务，或不存在长期遗忘/负迁移。

图 5：教师—学生 top-$k$ overlap 动态

• 展示内容： JustRL 与 QuestA 教师对下，学生与 post-RL 教师、教师参考策略的 top-$k$ overlap。
• 作者解释： 跨模式 transfer 可以维持低 overlap 却产生收益，故不必是终态教师模仿。
• 直接支持： 图注报告跨模式情形保持较低 overlap。
• 限制： top-$k$ overlap 不是语义推理模式的充分测量。

图 6：JustRL transfer 的熵诊断

• 展示内容： Qwen3-1.7B 和 R1-Distill-7B 的学生熵、教师熵、参考策略熵及其差值。
• 作者主张： 学生 actor entropy 没有坍缩，教师/reference entropy gap 缩小。
• 支持边界： 这排除了一部分简单的“训练纯粹低熵坍缩”解释；但单靠熵不能证明推理质量或多样性质量。

图 7：response length sweep

• 展示内容： 固定 KL=1 下，512、2k、4k response length 的 AIME 2024/2025 平均验证行为。
• 作者结论： 2k 在两个学生上较稳定；过短或过长不一致地改善验证。
• 不足： 仅测试少量长度、固定 KL，未探索长度与数据难度、模型规模、训练阶段的交互。

图 8：短视野训练对长 rollout 的影响

• 展示内容： $G_T$ 随 response token position 变化，以及 2k/4k/6k 训练在 step 40 的验证表现。
• 直接证据： 2k 训练后的模型在超出 2k 的长序列位置上仍呈现与 shift 相一致的变化；2k 的验证值 48.8 高于 4k 的 48.3 和 6k 的 45.6。
• 作者解释： 短训练视野能泛化到更长 reasoning rollout，过长视野可能摄入不可靠晚期信号。
• 替代解释： 2k 可能只是更合适的优化预算或正则化强度，而不必说明能力从早期前缀“传播”到后期。

图 9：KL 系数与 dense reward

• 展示内容： 固定 KL 与 adaptive KL 下的 AIME 验证曲线及 dense token reward。
• 作者结论： 最优 KL 依赖 pair；adaptive KL 将 reward 拉至平衡区。
• 支持边界： 说明固定 KL 的表现存在 pair 依赖性；不证明零均值 reward 是最优或普适可靠性原则。

图 10：QuestA transfer 的额外熵诊断

• 展示内容： QuestA-Nemotron 转移至 Qwen3-1.7B 时的熵指标。
• 作者结论： 非坍缩模式不只属于 JustRL 教师对。
• 边界： 额外一个教师对提升了证据范围，但仍远不足以覆盖广泛分布。

图 11：QuestA 在 AIME 2025 的额外曲线

• 展示内容： QuestA 到 R1-Distill-7B 与 Qwen3-1.7B 的 AIME 2025 transfer 曲线。
• 作者结论： 主文 AIME 2024 的趋势在 AIME 2025 上也出现。
• 局限： 两个基准均为 AIME 数学竞赛题，任务分布相关性高，不足以替代跨领域泛化验证。

表 2：AIME 评估协议

设置	数值
Benchmark	AIME 2024、AIME 2025
每题样本数	32
Temperature	0.7
Top-p	0.95
最大生成长度	31,744

评估是 ave@32，因而反映多次采样条件下的性能，而不是单次贪心解码能力。论文未在文本中详细定义 ave@32 的精确聚合规则，也未报告题目级波动。

表 3：Direct-OPD 默认训练超参数

超参数	数值
训练框架	verl
Global/Mini batch size	64 / 64
Rollout n	4
最大 prompt 长度	1,024
最大 response 长度	2,048
Temperature / Top-p	1.0 / 1.0
学习率	$1\times 10^{-6}$
训练步数	300
固定 KL	依 pair 为 0.8–2
学生 top-$k$	16

表 4：教师 RL 与直接 RL 超参数

教师构建和直接 RL 基线使用 GRPO；R1-Distill 使用 batch size 512，Qwen3 nonthinking 使用 128；均使用 rollout $n=8$、最大回答长度 16,384、学习率 $10^{-6}$、KL coefficient 0。

重要批评： Direct-OPD 的训练长度为 2,048、300 步，而 RL 基线的 rollout 长度为 16,384，训练设置本身差异较大。虽然这可能正是 Direct-OPD 的效率优势来源，但也应更清楚地报告 token 预算、样本数和总训练 FLOPs。

---

5. 结论

最终总结

Direct-OPD 的核心贡献不是提出又一个“模仿教师”的蒸馏损失，而是提出迁移对象应为教师 RL 前后策略的相对变化：

$$\log {\pi }_T-\log {\pi }_{Tref},$$

而不是 RL 后弱教师的绝对分布 ${\pi }_T$。

在 KL 正则化 RL 的理论视角下，这个策略差分可以被解释为潜在奖励的等价形式。学生以自身初始化策略为锚，在自身 on-policy 状态上使用该信号，从而有机会吸收弱模型 RL 发现的行为方向，同时保留强学生已有能力。

技术意义

论文将 RL 后训练的产物从“最终模型 checkpoint”重新定义为“可复用的 policy-shift / implicit reward 资产”。如果这种转移在更广泛任务上成立，组织可以在相对便宜的模型上探索 RL 改进方向，再向多种更大目标模型复用。

证据强度

• 较强证据： 在两组教师对、多个学生、AIME 2024/2025、特定训练配方下，Direct-OPD 后的终点分数提升；标准 OPD 在一个强学生/弱教师案例中退化；顺序 shift 有额外增益。
• 中等证据： top-$k$ overlap、熵和长度/KL 诊断支持其不是简单终态模仿或低熵坍缩。
• 较弱证据： “隐式奖励可稳定跨尺度复用”“弱到强优于直接 RL”“多个能力可普遍组合”等更广义结论；这些仍受任务、模型、统计设计和对照范围限制。

作者提出的未来边界

作者在结论中明确承认：当教师/reference 的改进对学生访问状态没有意义时，信号会失败；最优 response length 和 KL 强度依赖具体教师—学生对。

合理的后续研究方向

1. 在代码、科学推理、开放式问答、对齐、安全和多语言任务上验证。
2. 对不同 tokenizer、架构、模型厂商及明显不同预训练语料做迁移。
3. 引入多随机种子、置信区间和统计检验。
4. 验证 policy shift 与外部 verifier、过程奖励、真实错误类型改善之间的关系。
5. 研究多 shift 的顺序、权重、冲突检测、并行组合与遗忘。
6. 研究可学习的 state reliability / OOD weighting，避免在教师对低支持区域盲目使用 log-ratio。
7. 给出完整总成本模型：教师 RL、学生 transfer、教师前向、存储、调参和可复用次数。

---

6. 参考文献

本文明确引用的关键基础工作

1. DeepSeek-R1（DeepSeek-AI et al., 2025）
   论文将其作为 RL 激发推理能力的重要代表。与本文关系在于：Direct-OPD 试图复用 RLVR 类训练所产生的改进行为，而不是重复其昂贵训练过程。

2. JustRL（He et al., 2025）
   提供 R1-Distill-1.5B 的 post-RL 教师 checkpoint。本文最主要的 teacher pair 是 R1-Distill-1.5B $\to$ JustRL-1.5B。

3. Qwen3 Technical Report（Yang et al., 2025）
   提供 Qwen3-1.7B、Qwen3-4B 等学生模型背景。本文用其说明方法并不局限于 R1-Distill 家族。

4. Rethinking On-Policy Distillation of Large Language Models（Li et al., 2026）
   本文的标准 OPD 表述、top-$k$ 重叠诊断和“teacher-student thinking-pattern compatibility”讨论的重要直接来源。Direct-OPD 的差异正是放弃拟合终态教师分布。

5. Direct Preference Optimization（Rafailov et al., 2023）
   提供策略—参考策略 log-ratio 与隐式奖励之间关系的理论背景。本文将这一关系“反向使用”：不由偏好拟合策略，而从 checkpoint 对中读取 reward-like signal。

6. Fast and Effective On-Policy Distillation from Reasoning Prefixes（Zhang et al., 2026）
   为短前缀训练也能影响长推理提供相邻背景。本文进一步测试了 2k 短视野训练对约 16k rollout 的影响。

7. QuestA（Li et al., 2025）
   提供第二个教师对 QuestA-Nemotron，用于检验 Direct-OPD 是否仅依赖 JustRL 教师配方。

8. DAPO（Yu et al., 2025）
   与教师 RL、数学训练数据和训练系统设置相关。本文使用 DAPO-style prompt，并在部分教师/基线训练中采用 GRPO 配置。

9. Weak-to-Strong Generalization（Burns et al., 2023）
   提供弱监督激发强能力这一问题框架。本文将其具体化为“弱模型 RL policy shift 对强模型的迁移”。

10. Weak-to-Strong Preference Optimization（Zhu et al., 2025）
    是最接近的路线之一：从弱对齐模型中提取隐式奖励以引导强模型。本文区别在于使用同一弱模型 RL 前后的 checkpoint 对，并强调 policy shift 而非弱模型终态偏好。

为评估本文而有必要讨论的替代路线

• 直接大模型 RLVR / GRPO： 最自然基线；关键问题是 Direct-OPD 是否在相同总计算、相同数据、相同调参预算和相同验证次数下仍更优。
• 标准 OPD： 本文已证明在至少一个弱教师—强学生配置中可能退化，但需要更广泛的标准 OPD 强基线和不同 divergence 的比较。
• 过程奖励模型与 verifier-guided RL： 若可训练或获得可靠过程监督，可能比弱教师 policy ratio 提供更直接的 credit assignment。
• 离线数据蒸馏 / rejection sampling / SFT： 需要与 Direct-OPD 比较实际性能、成本和稳定性。
• 模型合并、task arithmetic、proxy tuning： 它们迁移的是权重变化而非行为 log-ratio；论文已指出这一差异，但缺乏直接实验对照。

---

7. 补充材料

论文提供了附录 A–C，可视为补充材料的一部分。

附录 A：实验细节

训练数据使用 Skywork-OR1-RL-Data 的数学子集；使用 DAPO 风格数学 prompt：

Solve the following math problem step by step.
最后一行格式为 Answer: $Answer。

作者说明该 prompt 与教师 RL 中的 boxed-answer prompt 不同，但在其运行中 transfer 略好。作者还称使用 DAPO-Math-17K 替换 Skywork 数据时观察到相似趋势。

意义： 这部分降低了“结果完全由某一训练数据集导致”的担忧。

限制： “similar transfer trends”未给出完整数值、图表或统计检验，不能评估差异大小、数据比例影响或是否存在数据污染。

附录 B：额外熵诊断

图 10 显示 QuestA-Nemotron 转移至 Qwen3-1.7B 时的熵指标，作者借此说明图 6 的非熵坍缩现象不只适用于 JustRL。

附录 C：额外结果

图 11 给出 QuestA transfer 在 AIME 2025 上的曲线，补充主文主要展示的 AIME 2024 结果。

补充材料仍缺少的关键信息

即使已有附录，现有材料仍未提供：

• 每个实验的随机种子和重复次数；
• 标准差、置信区间、题目级别分布或显著性检验；
• 所有训练/验证 checkpoint 的完整结果；
• 直接 RL 与 Direct-OPD 的精确 token、FLOPs、GPU-hours 对照表；
• 失败案例、负迁移案例及失败比例；
• 教师/reference 在学生状态上的 log-ratio 数值稳定性与 OOD 分析；
• 数据去污染、AIME 泄漏排查和训练数据重合报告；
• 完整代码、checkpoint 可用性和可复现实验脚本状态。

这些缺失主要限制了关于稳定性、统计可信度、算力比较公平性、训练数据影响及工程可复现性的结论。

---

第二阶段：专业学术问题回答

Q1

Q1: 这篇论文试图解决什么问题？

A1: 论文解决的是推理模型 RL 后训练的可扩展性问题：大模型做 RLVR 时，在线生成 rollout 与更新成本很高；然而直接使用较小 RL 教师的最终策略做蒸馏，又会把弱模型的能力上限传递给更强学生。作者试图寻找一种可复用的训练对象：不是蒸馏“弱教师最终知道什么”，而是蒸馏“弱教师经过 RL 后相对于自己原始状态学会偏好什么”。其目标是在避免目标大模型重复进行稀疏奖励 RL 的前提下，复用小模型 RL 所发现的改进方向。

Q2

Q2: 这是一个新问题吗？

A2: 不是全新问题，但论文提出了一个有针对性的新表述。大模型后训练成本、知识蒸馏、on-policy distillation、弱到强泛化和隐式奖励都是已有方向。本文的新问题化在于：当 RL 后教师比学生弱时，如何避免终态教师成为能力上限，同时把其 RL 过程中的有效改进迁移给强学生。已有 OPD 通常聚焦终态教师分布；已有弱到强工作通常使用弱监督标签、偏好或分布。本文明确主张迁移 checkpoint pair 的 RL-induced policy shift，这一组合与操作化方式具有新颖性。

Q3

Q3: 这篇论文试图验证什么科学假设？

A3: 核心假设是：在 KL 正则化 RL 的条件下，弱教师 RL 前后策略的对数概率比 $\log {\pi }_T-\log {\pi }_{Tref}$ 含有可迁移的奖励样监督信号；该信号在强学生自己的 on-policy 状态上被评估时，可以改善强学生，即使学生的初始任务能力已超过弱教师终态策略。附属假设包括：这种信号可跨不同教师对迁移、可优于相同步数的大模型直接 RL、可在低 token-overlap 情形工作、可被多个 shift 顺序组合，并受 response length 与 KL 约束控制。

Q4

Q4: 作者为了解决问题/验证假设提出的解决方案是什么？

A4: 作者提出 Direct-OPD。流程是：

1. 保存弱模型 RL 前 checkpoint ${\pi }_{Tref}$ 与 RL 后 checkpoint ${\pi }_T$；
2. 在学生当前 rollout 前缀上，计算教师 token 概率差： $$r_t(v)=\log {\pi }_T(v\mid s_t)-\log {\pi }_{Tref}(v\mid s_t);$$
3. 仅在学生自己的 top-$k$ token 支持上使用该信号；
4. 以学生初始策略 ${\pi }_S$ 为 reference，用 KL 正则约束学生更新；
5. 使用学生加权的解析 top-$k$ policy gradient 和 stop-gradient 权重降低方差；
6. 通过 adaptive KL 调节 teacher-shift 信号与学生锚定之间的平衡。

Q5

Q5: 这个解决方案的关键点、难点、创新点在哪？

A5: 关键点在于把蒸馏对象从绝对策略 ${\pi }_T$ 改为相对变化 ${\pi }_T/{\pi }_{Tref}$。类比而言，标准 OPD 像让学生完整模仿一位水平较低老师的答案；Direct-OPD 则试图只提取这位老师“经过训练后比过去改正了哪些习惯”，让学生把这些改进叠加在自己原有能力上。

难点包括：

• 教师 shift 的尺度不可从 checkpoint 对直接恢复；
• 学生访问的状态可能与教师 RL 状态不同；
• token 级局部奖励如何近似序列级 RL 目标；
• 怎样避免学生在低支持、低可靠性的状态过度优化 log-ratio；
• 如何证明提升不是普通训练、数据或 prompt 效应。

创新点主要是：

1. 用 RL 前后 checkpoint 的 log-ratio 作为可读出的 implicit reward；
2. 在学生 on-policy 状态而不是教师轨迹上应用该 reward；
3. 以学生自己的初始策略做 KL 锚定，而非向弱教师终态靠拢；
4. 用 adaptive KL 应对跨教师对的 signal-scale mismatch；
5. 将多个独立 shift 作为可顺序组合的训练模块。

Q6

Q6: 论文中的实验是如何进行设计的？

A6: 实验围绕三个问题设计：

1. 小教师的 policy shift 能否改善已强于教师的学生；
2. 在 RL step 或 wall-clock 对比下，小模型 RL + Direct-OPD 是否优于直接大模型 RL；
3. 多个 shift 能否顺序组合。

核心设计包括：

• 两个教师对：R1-Distill-1.5B→JustRL-1.5B，Nemotron-1.5B→QuestA-Nemotron-1.5B；
• 多个学生：Qwen3-1.7B、Qwen3-4B、R1-Distill-7B；
• 评估：AIME 2024、AIME 2025，32 samples/problem，temperature 0.7，top-p 0.95；
• Direct-OPD 默认训练：300 步、2k response、student top-$k=16$、学习率 $10^{-6}$；
• 比较标准 OPD、直接 RL、不同 RL checkpoint、不同 response length、固定/自适应 KL、熵和 top-$k$ overlap。

批判性评价：

• 对照： 有标准 OPD、直接 RL 和不同教师对，设计较完整。
• 变量控制： 没有完整报告是否对直接 RL 和 Direct-OPD 使用同等调参预算。
• 统计有效性： 文本未提供多种子、误差条、置信区间或显著性检验，是主要缺陷。
• 外部有效性： 评估集中于 AIME 2024/2025，外部泛化有限。
• 可复现性： 给出许多超参数和 prompt，但未给完整 checkpoint/数据版本/运行脚本/种子信息。

Q7

Q7: 作者使用了哪些方法/数据/分析来支撑他们的结论？

A7: 作者主要采用：

• 方法： Direct-OPD、标准 OPD、GRPO 训练教师和直接 RL 基线、top-$k$ 局部策略梯度、adaptive KL；
• 数据： Skywork-OR1-RL-Data 数学子集；附录称以 DAPO-Math-17K 替换时趋势相似；
• 评估数据： AIME 2024、AIME 2025；
• 模型： R1-Distill、JustRL、Qwen3、Nemotron、QuestA-Nemotron；
• 分析：
  • 终点准确率与训练曲线；
  • 标准 OPD vs Direct-OPD；
  • step/wall-clock 对比；
  • 多 shift 顺序组合；
  • top-$k$ overlap；
  • 熵诊断；
  • response-length sweep；
  • $G_T$ 长 rollout 诊断；
  • 固定 KL 与 adaptive KL 比较。

Q8

Q8: 论文中的实验和结果是否很好地支持了需要验证的科学假设？

A8: 结论是：对核心经验性假设提供了中等到较强支持；对其理论泛化和机制解释仅提供部分支持。

• 直接支持：

  • 多个学生在两个 AIME 基准上得到提升；
  • 某些学生初始分数高于弱教师终态，仍能提升；
  • 标准 OPD 在 R1-Distill-7B/JustRL 设置中退化，而 Direct-OPD 提升；
  • 两个 shift 的顺序训练带来额外终点分数。

• 间接支持：

  • 低 top-$k$ overlap 下仍提升，说明不必进行高重叠终态模仿；
  • 熵未坍缩，弱化了简单分布退化解释；
  • 短训练视野在长 rollout 的 $G_T$ 指标上仍变化；
  • adaptive KL 在若干 pair 上表现较稳定。

• 仅与假设一致、但不足以证明：

  • ${\Delta }_T$ 是“真正奖励”的说法：理论身份依赖 KL-RL 最优性近似；实验说明它有用，不证明它准确恢复了 underlying reward。
  • “迁移的是抽象能力方向”说法：现有 top-$k$ 和熵诊断不足以排除其他机制。
  • “弱到强泛化”说法：仍主要在同类数学推理模型和 AIME 上验证。

• 尚未覆盖：

  • 统计显著性；
  • 失败率与负迁移；
  • 跨任务、跨语言、跨 tokenizer；
  • 安全、偏见、对齐和开放生成；
  • 教师/参考策略在学生 OOD 状态上的可靠性；
  • 与强 SFT、过程奖励、离线 RL 等竞争路线的系统比较。

Q9

Q9: 这篇论文的具体贡献点是什么？

A9: 实质贡献包括：

1. 概念重构： 将弱模型 RL 的“可迁移对象”从终态策略改为 RL-induced policy shift。
2. 方法设计： 给出 Direct-OPD 的序列级目标、token 级近似、top-$k$ 估计与 KL 锚定。
3. 理论连接： 将 policy/reference log-ratio 与 KL-regularized RL 的隐式奖励关系用于 checkpoint pair 的反向解释。
4. 经验结果： 在两组教师对、多个学生及 AIME 2024/2025 上报告一致增益。
5. 效率论证： 报告小模型 RL + 短 Direct-OPD transfer 可优于或匹配直接大模型 RL 的路径。
6. 分析诊断： 探索 overlap、熵、response length、KL 和 sequential composition。

常规工程整合包括：使用 verl、GRPO、top-$k$ token 支持、标准 KL penalty、已有数学数据与 AIME 评估。它们重要，但并非论文最核心的新颖性。

Q10

Q10: 下一步可以深入开展哪些工作？

A10: 可优先开展：

1. 跨领域验证。
   动机：避免把 AIME 结果误认为通用能力结论。
   可行性：在代码、科学问答、法律推理、长文档推理和多语言数学上验证。
   风险：不同任务未必存在可靠 verifier 或相同的 teacher shift。
   标准：与直接 RL、SFT、标准 OPD 比较，并报告平均表现和最差任务表现。

2. 可靠性加权的 shift transfer。
   动机：作者已发现晚期/OOD prefix 的 log-ratio 可能不可靠。
   可行性：引入 teacher-reference joint likelihood、ensemble disagreement、OOD score 或 verifier calibration 来过滤 token。
   风险：额外模型会抵消效率优势。
   标准：在相同总算力下减少负迁移并提高跨任务稳定性。

3. 多 shift 的组合理论与算法。
   动机：顺序组合已有初步结果，但冲突不明。
   可行性：学习 shift 权重、正交化、Pareto 组合、gating 或 mixture-of-shifts。
   风险：不同 reward direction 可能相互破坏。
   标准：测试顺序不变性、冲突检测、遗忘和多任务 Pareto 曲线。

4. 严谨成本审计。
   动机：step-matched 与 wall-clock 结论仍不充分。
   可行性：报告 total FLOPs、GPU-hours、token 数、教师推理成本、调参次数、复用次数。
   风险：不同硬件/实现使成本难直接比较。
   标准：以端到端总成本和性能—成本前沿比较。

5. 机制级因果验证。
   动机：当前机制解释主要依赖相关诊断。
   可行性：随机打乱 teacher/reference pairing、使用无效 shift、控制 shift 范数、替换部分 token reward。
   风险：干预可能改变训练稳定性。
   标准：证明正确信号对性能提升具有可重复的因果必要性。

Q11

Q11: 这篇论文还存在什么问题/漏洞/缺点/考虑不周/局限性/可以改进的地方？

A11: 按严重程度排序：

1. 缺乏统计不确定性报告。
   没有种子数、标准差、置信区间或显著性检验。
   影响：机制解释、因果结论、泛化能力、可复现性。

2. 评估域过窄。
   结果主要来自 AIME 2024/2025，两者都是高相关数学竞赛推理任务。
   影响：泛化能力。

3. 成本比较不够完整。
   报告了 wall-clock 和部分 GPU 配置，但没有端到端 FLOPs/token/调参成本。
   影响：效率结论、工程可部署性。

4. “implicit reward”理论解释依赖理想化假设。
   实际 GRPO/RLVR 训练未必满足 KL-RL 的封闭解条件。
   影响：机制解释与理论严谨性。

5. 学生 OOD 状态上的 reward 可靠性只被经验讨论。
   文中承认 log-ratio 可能在低支持区域不可靠，但没有可靠性估计或显式防护。
   影响：稳定性、泛化和部署风险。

6. 直接 RL 基线的公平性仍不透明。
   缺少完整调参预算、token 预算、训练数据一致性与最佳 checkpoint 选择细节。
   影响：相对性能与效率结论。

7. 机制诊断不足以完全排除替代解释。
   top-$k$ overlap 和熵不是“推理模式”或“真实能力”的充分指标。
   影响：机制解释。

8. 多 shift 组合验证有限。
   只展示一个顺序、两个 shift、一个主要学生。
   影响：可扩展性与组合性结论。

9. 新颖性边界需要更谨慎。
   与 weak-to-strong preference optimization、reward extrapolation OPD、RLKD 等工作的差异需要更直接的实验而不仅是概念对比。
   影响：新颖性判断。

Q12

Q12: 文中提到了哪些重要的概念/理论/名词？请做简要解释。

A12: 文中重要概念包括：

• RLVR（Reinforcement Learning with Verifiable Rewards）：使用可自动验证的结果奖励训练模型，例如数学最终答案是否正确。
• 弱到强泛化（Weak-to-Strong Generalization）：用能力较弱的监督源激发或改善能力更强模型，而非让强模型简单受限于弱监督。
• On-Policy Distillation（OPD）：学生在自己生成的状态上接收教师监督，减少离线蒸馏的分布偏移。
• Direct-OPD：不拟合教师终态分布，而蒸馏教师 RL 前后策略差分。
• 策略 shift（Policy Shift）：$\log {\pi }_T-\log {\pi }_{Tref}$，衡量 RL 相对改变了教师对行为/token 的偏好。
• 隐式奖励（Implicit Reward）：在 KL 正则化 RL 中可由策略相对 reference 的 log-ratio 表示的奖励等价量。
• KL 正则化 RL：在最大化奖励时惩罚策略偏离参考策略，以约束更新幅度。
• Top-$k$ support：学生在某前缀下概率最高的 $k$ 个 token 集合；本文默认 $k=16$。
• Rao–Blackwellization：将随机 token 动作的单样本估计替换为条件期望，降低方差。
• Stop-gradient：将某些计算量当作常数，不使梯度通过它传播，避免引入不符合目标梯度形式的 Jacobian 项。
• Adaptive KL：根据 batch dense reward 的符号动态调节 KL 系数。
• ave@32：每题采样 32 个答案的评估方式；文本未给出其完整聚合定义。
• Top-$k$ overlap：学生与教师在某状态的高概率 token 集合交集比例。
• GRPO：论文用于教师构建和直接 RL 基线的一种 group-relative policy optimization 训练设置。
• 分布外状态（OOD state）：学生访问而教师/reference 都缺乏可靠概率支持的状态，此时 log-ratio 可能失真。

Q13

Q13: 与这篇论文相关的问题有哪些相关研究？它们如何分类？该领域有哪些值得注意的研究人员？

A13: 以下主要依据本文引用的相关工作；未进行外部检索，因此不对领域优先权或完整研究者名单作超出论文引用范围的断言。

1. RLVR 与推理模型后训练

   • 代表工作：DeepSeek-R1、JustRL、Kimi k1.5、QwQ-32B、DAPO。
   • 问题：如何用可验证奖励和 RL 提升推理能力。
   • 本文关系：Direct-OPD 试图复用这些 RL run 所产生的改进方向。
   • 本文引用的代表团队/研究者：DeepSeek-AI、Bingxiang He 等、Kimi Team、Qwen Team、DAPO 作者团队。

2. 弱到强泛化与可扩展监督

   • 代表工作：Burns et al. 的 Weak-to-Strong Generalization；Leike 与 Sutskever 的 Superalignment；scalable oversight、debate、constitutional AI 等。
   • 问题：弱监督如何可靠地指导强模型。
   • 本文关系：不以弱模型终态标签为唯一监督，而从弱模型 RL 改变量提取可用信号。
   • 本文引用的代表研究者：Collin Burns、Jan Leike、Ilya Sutskever、Paul Christiano 等。

3. 噪声监督、半监督与 easy-to-hard 泛化

   • 代表工作：entropy minimization、MixMatch、Co-teaching、DivideMix、easy-to-hard learning。
   • 问题：当监督不完美或任务难度变化时如何学习。
   • 本文关系：弱教师并不完美，Direct-OPD 试图利用其“变化方向”而非绝对输出。

4. 隐式奖励与偏好优化

   • 代表工作：DPO、KTO、SimPO、general theoretical paradigm for preferences。
   • 问题：如何不显式训练 reward model 而从偏好或策略关系推导优化目标。
   • 本文关系：将策略/reference 比值反向解释为教师 RL 产生的 reward-like signal。
   • 本文引用的代表研究者：Rafael Rafailov、Chelsea Finn、Kawin Ethayarajh、Danqi Chen 等。

Q14

Q14: 与这篇论文相关的解决方案相似的有哪些相关研究？它们如何分类？该领域有哪些值得注意的研究人员？

A14: 以下同样以本文引用的相关工作为信息边界。

1. 标准知识蒸馏与序列级蒸馏

   • 代表工作：Hinton et al.、Kim & Rush、MiniLLM、DistiLLM、f-divergence distillation。
   • 相同点：都通过教师概率或输出指导学生。
   • 差异：传统方法通常迁移教师绝对行为；Direct-OPD 迁移教师 RL 前后相对变化。
   • 优劣：传统蒸馏更直接，但弱教师可能限制强学生；Direct-OPD 更适合弱到强，但需要一对对应 checkpoint。

2. 标准 On-Policy Distillation

   • 代表工作：Agarwal et al.；Li et al. 的 OPD 机制与配方研究；reasoning-prefix OPD。
   • 相同点：都在学生自身采样状态上训练，常使用 token 分布和 top-$k$ 近似。
   • 差异：标准 OPD 匹配 ${\pi }_T$；Direct-OPD 使用 $\log {\pi }_T-\log {\pi }_{Tref}$。
   • 适用条件：当教师显著强于学生，直接 OPD 可能合理；当教师弱于学生，Direct-OPD 的动机更强。

3. 蒸馏与 RL 融合

   • 代表工作：RLKD、KDRL、Reinforcement-aware KD、AlignDistil、Self-distilled RLVR。
   • 相同点：同时利用蒸馏和强化学习思想。
   • 差异：Direct-OPD 不在目标学生上运行稀疏奖励 RL，也不以教师终态输出为唯一目标；它直接读取教师 RL 的 checkpoint shift。
   • 不确定性：没有直接实验显示 Direct-OPD 相较这些具体方法的优势，故不能据本文断言其全面领先。

4. 弱到强偏好优化

   • 代表工作：Weak-to-Strong Preference Optimization。
   • 相同点：从弱对齐模型中提取隐式奖励，指导更强模型。
   • 差异：本文使用同一弱模型的 RL 前后 checkpoint，而非只使用弱对齐模型本身。
   • 关键问题：两种方法在相同数据、模型和预算下何者更稳定，本文尚未直接回答。

5. 模型权重空间迁移

   • 代表工作：task arithmetic、model soups、proxy tuning。
   • 相同点：都试图复用既有模型训练结果。
   • 差异：这些方法操作权重或权重差；Direct-OPD 操作行为分布的 log-ratio，并在学生 on-policy states 上评估。
   • 潜在互补性：可探索先做权重合并，再做 behavior-shift transfer；但本文未验证。

Q15

Q15: 如何用三句话总结全文亮点？

A15:

1. 论文提出 Direct-OPD：不让强学生模仿弱 RL 教师的最终策略，而是迁移该教师从 RL 前到 RL 后的策略变化 $\log {\pi }_T-\log {\pi }_{Tref}$，并将其解释为可复用的隐式奖励信号。
2. 在所报告的数学推理实验中，这一 shift 可改善初始能力已超过弱教师的学生；例如 Qwen3-1.7B 在 AIME 2024 从 48.3 提升到 58.3，并显示出相对于直接大模型 RL 的潜在计算优势。
3. 论文最有价值的观点是将 RL 结果视为可分离、可迁移、可组合的“改进方向”，但其通用性、统计稳定性和机制因果性仍需超越 AIME 与有限教师对的更严格验证。

Q16

Q16: 如何不带任何预设立场、客观理性、辩证地评价这个工作？

A16: 客观而言，这项工作的真实价值在于提出了一个清晰、可操作且理论上有吸引力的迁移单位：RL 前后 checkpoint 的 policy shift，而不是弱教师终态策略。论文通过多个学生、两个教师对、标准 OPD 对照、直接 RL 对照、顺序组合和训练动力学诊断，提供了相当有说服力的初步实证。

但证据强度应限定在论文实验域内：它充分表明 Direct-OPD 在若干数学推理设置中可用，并与低成本提升一致；尚不足以表明该方法普适优于直接 RL、能够在任意弱监督下可靠激发强能力，或能无条件把 log-ratio 解释为真实奖励。最大局限是缺少统计报告、跨任务验证、完整成本审计、失败案例和机制级因果干预。

相对于现有工作，本文不是对 OPD、DPO 或弱到强泛化的简单重命名；它提出了一个有明确差异的 checkpoint-pair transfer 视角。其长期影响取决于后续研究能否证明：这一视角在更广泛模型生态、更多 reward 机制和更严格可复现条件下仍具有稳定、可量化的优势。

---

第三阶段：提出并回答关键问题

Q1

Q1: 如果教师 RL 前后策略的差异只是训练噪声、数据偏差或 prompt 偏好，而不是真正可迁移的能力增益，Direct-OPD 如何区分“有用 shift”和“有害 shift”？

A1: 这是该方法最关键的未完全解决问题。Direct-OPD 假设 ${\Delta }_T$ 中包含的是 RL 发现的有效方向，但 checkpoint 差异也可能编码：

• 对训练数据格式、答案模板或长度偏好的过拟合；
• verifier 的漏洞利用；
• 某一数学数据分布中的偶然 shortcut；
• RL 优化噪声；
• 参考策略与后策略的概率校准变化，而非真正 reasoning 改善。

论文通过 AIME 提升、长度 sweep、KL 分析和不同教师对提供了部分经验过滤，但没有直接建立 shift quality 的独立判别机制。

更可靠的方案应包括：

1. 在独立、去污染、不同格式任务上测量 shift 的外部效度；
2. 估计 teacher/reference 在学生访问状态上的联合支持度；
3. 用多个教师 checkpoint 或多个 RL seed 构造 ensemble shift，只保留一致部分；
4. 通过 verifier、过程正确率、反事实任务和错误类型分析评估 shift 是否真改善推理；
5. 在训练时对低可信度状态/高不确定性 token 降权；
6. 使用随机配对、错配 reference、时间打乱等负对照，验证特定 checkpoint 差异是因果必要的。

如果无法解决 shift quality 问题，Direct-OPD 会更像一个高效但脆弱的“行为差分蒸馏”技巧，而非可靠的通用 RL 复用机制。

Q2

Q2: “小模型先发现方向，再迁移到大模型”何时在总成本上真正优于直接大模型 RL，而不是把成本从目标模型转移到教师模型？

A2: 只有在若干条件同时满足时，弱到强路线才具有明确经济优势：

1. 小模型 RL 确实比大模型 RL 显著便宜且更稳定；
2. 小模型发现的方向能被多个目标模型、多次迁移复用；
3. Direct-OPD 的教师 scoring、存储和调参成本相对较低；
4. 直接大模型 RL 不会通过更高质量 rollout 或更快收敛抵消其成本；
5. 教师 shift 不需要对每个目标模型重新大规模调 KL、长度、数据和 prompt；
6. 目标模型与教师之间存在足够的行为/任务可迁移性。

论文报告 1.5B RL 的 160 小时与 7B RL 的 320 小时，以及 transfer 的 8 A100×4 小时，说明单次案例存在潜在优势。但真正的成本分析应计算：

$$C_{\text{total}}=C_{\text{teacher-RL}}+N_{\text{students}}{C}_{\text{transfer}}+C_{\text{teacher-scoring}}+C_{\text{tuning}}+C_{\text{validation}}.$$

若一个教师 shift 能服务许多学生，前期小模型 RL 成本可摊销，方法价值很大；若只服务单一模型且需大量 per-student 调参，优势会显著缩小。论文尚未给出这一复用规模下的 break-even 分析。

Q3

Q3: 多个 policy shift 是否真能像“能力模块”一样组合，还是会因奖励冲突、顺序依赖和分布漂移而最终失效？

A3: 论文的两阶段实验表明：至少在 JustRL shift 后再接 QuestA shift 的一个顺序中，Qwen3-1.7B 在 AIME 2024/2025 上继续提升。这是有价值的可行性证据，但距离“模块化组合”结论还很远。

理论上，若两个 shift 对应的潜在奖励可相加，则可能希望：

$${\pi }^{\ast }(y\mid x)\propto {\pi }_S(y\mid x)\exp \left(\frac{{\Delta }_1(y\mid x)+{\Delta }_2(y\mid x)}{\alpha }\right).$$

但现实中至少有四个问题：

1. 非交换性： 先用 ${\Delta }_1$ 再用 ${\Delta }_2$ 未必等价于反过来，因为第二个 shift 在第一阶段已改变的学生状态分布上被评估。
2. 冲突： 一个 shift 可能鼓励冗长探索，另一个可能偏好简洁答案；一个可能改善数学，另一个可能损害安全或事实性。
3. 可靠性漂移： 学生被前一 shift 推离教师对熟悉区域后，后一 shift 的 log-ratio 可能变得不可靠。
4. 遗忘与过优化： 连续累积 shift 可能逐步偏离初始化策略，KL 约束与性能间的平衡会更困难。

因此，未来需要比较顺序交换、并行加权、动态门控、冲突检测、任务条件化组合和长期遗忘曲线。只有当多 shift 在多任务场景中表现出可预测的组合规律，Direct-OPD 才能真正成为一种“RL 改进库”的基础设施。