UP: Unbounded Positive Asymmetric Optimization for Breaking the Exploration-Stability Dilemma

论文元数据

• Authors: Chongyu Fan, Pengfei Liu, Jingjia Huang, Sijia Liu, Yi Lin
• Publication date: 2026-07-08
• arXiv: https://arxiv.org/abs/2607.06987
• PDF: https://arxiv.org/pdf/2607.06987
• Project: https://chongyu-fan.netlify.app/posts/up/

---

阅读范围与证据边界

本文依据所提供的论文提取文本完整阅读，包含正文、参考文献及附录 A–C；未提供独立的补充材料、代码、训练日志、原始逐点数据、置信区间/随机种子结果或图像文件本身。因此，下文严格区分：

• 作者主张：论文对方法有效性、普适性或机制的解释。
• 论文直接证据：文中给出的公式、图表、实验协议与报告数值。
• 分析者判断：基于上述材料的推断与批评，不等同于论文已证明的事实。

---

第一阶段：论文框架总结

1. 论文标题和摘要

标题： UP: Unbounded Positive Asymmetric Optimization for Breaking the Exploration-Stability Dilemma
作者： Chongyu Fan、Pengfei Liu、Jingjia Huang、Sijia Liu、Yi Lin
日期： 2026 年 7 月 9 日

研究对象与核心问题

论文研究大语言模型（LLM）推理强化学习中的重要性采样（Importance Sampling, IS）优化。其聚焦的问题是：现代 GRPO、DAPO、GSPO 等方法为了在同一批 rollout 上进行多步更新而使用 IS，但由此面临所谓的“探索—稳定性困境”：

• 不裁剪的 IS 比率可能爆炸，造成梯度爆炸与训练失稳；
• 对 IS 比率进行裁剪虽可限制不稳定性，却会在正优势样本上过早截断梯度，尤其限制历史概率很低的正确长尾推理路径。

方法

作者提出 Unbounded Positive Asymmetric Optimization（UP）。核心设计是按优势符号分支：

• 对正优势样本，使用当前策略自身的 stop-gradient 概率作为分母，即以
  $\tilde{r}={\pi }_{\theta }/\mathrm{sg}({\pi }_{\theta })$
  替代传统 ${\pi }_{\theta }/{\pi }_{\mathrm{old}}$，使反向传播梯度形式化为无裁剪的 $\hat{A}{\nabla }_{\theta }\log {\pi }_{\theta }$；
• 对非正优势样本，保留 DAPO、GRPO 或 GSPO 原有的裁剪机制，以限制过强的负向更新。

作者将该设计实例化为 UP-DAPO、UP-GRPO 和 UP-GSPO。

最主要发现

论文直接证据：

• 在 Qwen3-14B-Base、DAPO-17K-MATH 训练、AIME24 验证上，UP-DAPO 的峰值 Avg@32 为 51.15，高于 DAPO 的 47.71；峰值 Maj@32 为 60.88，高于 58.36；峰值 Best@32 为 81.79，高于 80.49。
• 在 Qwen3-8B、MATH Levels 3–5 训练的五个基准比较中，UP-GRPO 的平均 Pass@1 为 61.31%，高于表中第二高的 GSPO（60.15%）。
• 在 Qwen3-30B-A3B-Base 上，UP-GSPO 的 AIME24 峰值 Avg@32 为 55.73，高于 GSPO 的 52.71。
• 在 Qwen3-VL-8B-Instruct、Geometry3K 上，UP-GRPO 的峰值准确率为 62.60%，高于 GRPO 的 59.30。
• 图中报告的梯度范数和 KL 散度曲线显示，UP 变体未呈现作者所称的训练发散；将 DAPO 正向上裁剪直接设为无穷时，训练约 80 步后出现梯度范数 $10^{13}$；对正负优势均采用无界更新的“off-policy REINFORCE”变体，则约 25 步内失稳。

作者结论

作者声称，UP 以自锚定、正负非对称的目标函数，能够在不牺牲稳定性的前提下解除正优势路径的裁剪限制，增强探索，并且是跨 token 级、序列级、稠密模型、MoE 模型及视觉语言模型的“通用、即插即用”增强模块。

从摘要能够支持与不能支持的边界

摘要及正文能够支持：在论文报告的有限模型、数据、预算和评估协议下，UP 变体的若干准确率、熵和稳定性代理指标优于相应或多种基线。

摘要不能单独支持：

1. UP 已普遍解决所有 IS 强化学习中的探索—稳定性困境；
2. 更高熵必然代表更有效、更安全或更广泛的探索；
3. 较低/相近的 KL 散度和梯度范数足以证明训练稳定性；
4. 对正优势路径采用无界更新在任意离策略程度、奖励噪声、模型规模或长上下文设定下都安全；
5. “正确 rollout”与“正优势 rollout”等价。后者取决于组归一化优势及奖励设计，不能从符号本身直接推断为真实正确性。

---

2. 引言

背景与动机如何建立

作者沿着“监督微调难以覆盖庞大推理轨迹空间—RL 可提升复杂推理—纯 on-policy REINFORCE 样本效率低—GRPO/DAPO/GSPO 转向多步 IS 优化”的链条建立问题背景。其论点是：长尾的高质量推理轨迹稀少，而传统裁剪会将低历史概率但正优势的 token 或序列迅速推至裁剪边界，之后梯度归零，使这些轨迹无法被充分强化。

为什么值得研究

该问题对 RLVR（可验证奖励强化学习）尤其重要：数学与逻辑推理的正确轨迹可稀少、长度长，且一条完整答案的序列级奖励要被分配给多个 token。若有效更新预算与旧策略概率线性绑定，低概率正确动作获得的绝对概率提升会很小，可能降低利用已发现正确路径的效率。

前人工作空白

作者将现有工作概括为三类：

• GRPO、DAPO 等 token 级 IS + 裁剪方法；
• GSPO 等序列级 IS 设计；
• ASPO、W-REINFORCE 等非对称优化路线。

作者认为，它们仍未从根本上摆脱历史策略 ${\pi }_{\mathrm{old}}$ 位于重要性比率分母这一约束，或未同时实现正向无界与负向保护。

具体目标与预期贡献

1. 提出“概率容量”Probability Capacity（Cap）来量化裁剪前允许的绝对概率变化预算；
2. 用 stop-gradient 的当前策略自锚定比率构造正优势无界目标；
3. 保留负优势裁剪，实现 UP-DAPO、UP-GRPO、UP-GSPO；
4. 在不同算法粒度、模型结构与模态上验证效果。

对问题设定必要性的评价

作者主张： 裁剪的结构性保守性是推理 RL 探索受限的关键根源。

论文直接证据： Eq. (11) 确实说明，在固定 ${ϵ}_{\mathrm{high}}$ 下，正优势 token 的裁剪上界是 $(1+{ϵ}_{\mathrm{high}}){\pi }_{\mathrm{old}}$；因此可允许的绝对概率增量会随 ${\pi }_{\mathrm{old}}$ 变小而变小。图 5 也表明，仅把 DAPO 上裁剪放宽到无穷会失稳。

分析者判断： 问题设定在数学上是明确且值得研究的，但“探索停滞主要由裁剪造成”的因果归因尚不充分。探索还受到奖励稀疏性、采样温度、rollout 数、长度偏差、优势归一化、数据分布、验证器误差、优化器、模型先验和训练数据覆盖等影响。文中没有将这些因素逐一控制，也没有给出“同等熵、不同 Cap”或“同等 Cap、不同奖励分布”的因果实验。

---

3. 正文部分

3.1 Related Work

Reinforcement Learning for LLM Reasoning

作者将 REINFORCE 视为基本策略梯度框架，将 PPO 视为 RLHF/RLAIF 的主流范式；指出 PPO 中 critic 的成本可能影响长上下文推理扩展性。GRPO 以组内相对评分替代 critic，DAPO 引入解耦裁剪，GSPO 则采用序列级重要性比率。作者的中心判断是，这些路线总体仍继承了裁剪带来的探索约束。

Importance Sampling and Asymmetric Optimization

作者认为 TRPO/PPO 以裁剪抑制 IS 比率爆炸，而 BandPO、SAPO、GMPO、M2PO 等是在仍保留 ${\pi }_{\mathrm{old}}$ 分母的前提下调整边界。ASPO、W-REINFORCE 被列为非对称优化的相关路线。

分析者判断： 相关工作定位有助于说明 UP 的差异，但“所有相关方法都因历史策略分母而受同一根本瓶颈约束”是强概括。正文未对各方法的精确目标、数据新鲜度、重加权、KL 约束、优势定义和稳定机制逐一推导，因此不能仅根据此处叙述判定它们等价地受限。

---

3.2 The Exploration-Stability Dilemma in Importance Sampling and Clipping

3.2.1 Definitions and Formulations: REINFORCE, GRPO, DAPO, and GSPO

REINFORCE

作者给出：

$$J_{\mathrm{REINFORCE}}(\theta )={\mathbb{E}}_{q\sim Q,o\sim {\pi }_{\theta }}\left[\sum _{t=1}^{|o|}\hat{A}\log {\pi }_{\theta }(o_{i,t}\mid q,o_{i,<t})\right].\text{\hspace{1em}(1)}$$

其中：

• $\theta$：当前策略参数；
• $q$：问题/提示；
• $o_i$：第 $i$ 个生成回答；
• $o_{i,t}$：回答的第 $t$ 个 token；
• $o_{i,<t}$：此前缀；
• $|o|$：回答长度；
• $\hat{A}$：优势估计；
• $Q$：提示分布。

其梯度为：

$${\nabla }_{\theta }{J}_{\mathrm{REINFORCE}}(\theta )={\mathbb{E}}_{q\sim Q,o\sim {\pi }_{\theta }}\left[\sum _{t=1}^{|o|}\hat{A}{\nabla }_{\theta }\log {\pi }_{\theta }(o_{i,t}\mid q,o_{i,<t})\right].\text{\hspace{1em}(2)}$$

该形式没有显式 IS 比率乘子；但它要求样本来自当前策略，因而通常是一批样本只做一次更新，样本效率较低。

GRPO 与 DAPO

传统 token 级 IS 比率为：

$$r_{i,t}(\theta )=\frac{{\pi }_{\theta }(o_{i,t}\mid q,o_{i,<t})}{{\pi }_{\mathrm{old}}(o_{i,t}\mid q,o_{i,<t})}.\text{\hspace{1em}(3)}$$

${\pi }_{\mathrm{old}}$ 是生成当前 rollout 时的历史/行为策略。GRPO 的目标是：

$$J_{\mathrm{GRPO}}(\theta )=\mathbb{E}\left[\frac{1}{G}\sum _{i=1}^G\frac{1}{|o_i|}\sum _{t=1}^{|o_i|}\left\{\min [r_{i,t}{\hat{A}}_i,\mathrm{clip}(r_{i,t},1-ϵ,1+ϵ){\hat{A}}_i]-\beta D_{\mathrm{KL}}({\pi }_{\theta }\Vert {\pi }_{\mathrm{ref}})\right\}\right].\text{\hspace{1em}(4)}$$

其中 $G$ 是组中 rollout 数，${\hat{A}}_i$ 是组归一化优势，$\beta$ 是 KL 正则系数，${\pi }_{\mathrm{ref}}$ 是参考模型。DAPO 在该基础上使用 ${ϵ}_{\mathrm{low}},{ϵ}_{\mathrm{high}}$ 两个裁剪边界，并令 $\beta =0$。

GSPO

GSPO 用序列整体的长度归一化重要性比率：

$$s_i(\theta )={\left(\frac{{\pi }_{\theta }(o_i\mid q)}{{\pi }_{\mathrm{old}}(o_i\mid q)}\right)}^{1/|o_i|}=\exp \left[\frac{1}{|o_i|}\sum _{t=1}^{|o_i|}(\log {\pi }_{\theta }-\log {\pi }_{\mathrm{old}})\right].\text{\hspace{1em}(5)}$$

其中 ${\pi }_{\theta }(o_i\mid q)={\prod }_t{\pi }_{\theta }(o_{i,t}\mid q,o_{i,<t})$。GSPO 将裁剪和奖励归因施加于序列级比率：

$$J_{\mathrm{GSPO}}(\theta )=\mathbb{E}\left[\frac{1}{G}\sum _{i=1}^G\min [s_i(\theta ){\hat{A}}_i,\mathrm{clip}(s_i(\theta ),1-ϵ,1+ϵ){\hat{A}}_i]\right].\text{\hspace{1em}(6)}$$

长度 $|o_i|$ 的 $1/|o_i|$ 次方旨在避免序列概率乘积随长度指数缩小，从而缓和长轨迹比率方差。

3.2.2 Aggressive Updates Dilemma 1: Importance Sampling Induces Training Instability

无裁剪 IS 目标为：

$$J_{\mathrm{IS}}(\theta )={\mathbb{E}}_{q\sim Q,o\sim {\pi }_{\mathrm{old}}}[\hat{A}{r}_{i,t}(\theta )].\text{\hspace{1em}(7)}$$

对应梯度：

$${\nabla }_{\theta }{J}_{\mathrm{IS}}(\theta )={\mathbb{E}}_{q\sim Q,o\sim {\pi }_{\mathrm{old}}}[\hat{A}{r}_{i,t}(\theta ){\nabla }_{\theta }\log {\pi }_{\theta }(o_{i,t}\mid q,o_{i,<t})].\text{\hspace{1em}(8)}$$

论文直接证据与理论含义： 若行为策略对某个 token 的概率极低，而更新后当前策略的概率提高，则 $r_{i,t}$ 可以变大，从而放大梯度。这解释了作者为何认为纯离策略多步 IS 更新会有风险。

分析者判断： Eq. (8) 表明存在比率放大机制，但“必然导致不可逆的表示破坏”超出了该公式本身。是否发散取决于学习率、批大小、优势尺度、梯度裁剪、优化器、数据陈旧度、参数化和训练步数。图 5 在一个具体协议下展示发散，支持“该配置存在严重风险”，不构成所有无裁剪 IS 都必然崩溃的证明。

3.2.3 Conservative Constraints Dilemma 2: Clipping Stifles Exploration

正优势的裁剪目标：

$$J_{\mathrm{IS}+\mathrm{CLIP}}(\theta )=\min [r_{i,t}(\theta ),1+ϵ]{\hat{A}}_i.\text{\hspace{1em}(9)}$$

其梯度在超出上界后为零：

$${\nabla }_{\theta }{J}_{\mathrm{IS}+\mathrm{CLIP}}(\theta )=\{\begin{array}{ll}{\hat{A}}_i{r}_{i,t}(\theta ){\nabla }_{\theta }\log {\pi }_{\theta },& r_{i,t}(\theta )\le 1+ϵ,\\ 0,& r_{i,t}(\theta )>1+ϵ.\end{array}\text{\hspace{1em}(10)}$$

作者定义正优势下的概率容量：

$$\mathrm{Cap}({\pi }_{\theta },{\pi }_{\mathrm{old}})=\{\begin{array}{ll}\min [1,(1+{ϵ}_{\mathrm{high}}){\pi }_{\mathrm{old}}]-{\pi }_{\theta },& {\pi }_{\theta }<(1+{ϵ}_{\mathrm{high}}){\pi }_{\mathrm{old}},\\ 0,& {\pi }_{\theta }\ge (1+{ϵ}_{\mathrm{high}}){\pi }_{\mathrm{old}}.\end{array}\text{\hspace{1em}(11)}$$

这里 Cap 是在绝对概率空间中、梯度被截断前还能增加的最大概率量。作者举例：${\pi }_{\mathrm{old}}=0.01$、${ϵ}_{\mathrm{high}}=0.28$ 时，上界为 0.0128，最大绝对增量仅为 0.0028。

该公式的实际支持范围： 它准确描述了某个 token 在给定一轮历史策略、给定裁剪上界且按该 surrogate 更新时的局部裁剪预算。

不能直接推出的结论： 小的单轮 Cap 不意味着该 token 永远无法被强化；若后续 rollout 更新了 ${\pi }_{\mathrm{old}}$，上界可随新行为策略变化。因而“永久探索停滞”还依赖于 rollout 刷新频率、每批 PPO epoch 数、样本重用次数、优化步长和奖励分布等未被该局部公式覆盖的因素。

---

3.3 Breaking the Dilemma: Unbounded Positive Asymmetric Optimization

3.3.1 Unbounded Formulation for Positive Advantages

作者对 $\hat{A}>0$ 使用：

$$J_{\mathrm{UP}}^{+}(\theta )={\mathbb{E}}_{q\sim Q,o\sim {\pi }_{\mathrm{old}}}\left[\sum _{t=1}^{|o|}\hat{A}\frac{{\pi }_{\theta }(o_{i,t}\mid q,o_{i,<t})}{\mathrm{sg}({\pi }_{\theta }(o_{i,t}\mid q,o_{i,<t}))}\right].\text{\hspace{1em}(12)}$$

$\mathrm{sg}(\cdot )$ 是 stop-gradient：前向值等于输入，但反向传播中被视为常数。因此前向时该比率数值恒为 1，反向时其梯度为：

$${\nabla }_{\theta }{J}_{\mathrm{UP}}^{+}(\theta )={\mathbb{E}}_{q,o\sim {\pi }_{\mathrm{old}}}\left[\sum _t\hat{A}{\nabla }_{\theta }\log {\pi }_{\theta }(o_{i,t}\mid q,o_{i,<t})\right].\text{\hspace{1em}(13)}$$

算法作用： Eq. (12) 是一个自动微分意义上的 surrogate loss；它不是普通前向数值意义上随策略概率变化的比率目标，而是通过 stop-gradient 指定所需梯度。对正优势 token，它不再由 $r_{i,t}$ 放大，也不再被上裁剪置零。

作者据此把正优势的 Cap 写为 $1-{\pi }_{\theta }$，即仅受概率本身不能超过 1 的限制。

关键理论边界： Eq. (13) 的梯度核与 REINFORCE 的 $\hat{A}\nabla \log {\pi }_{\theta }$ 相同，但其期望样本仍写作 $o\sim {\pi }_{\mathrm{old}}$，而 Eq. (2) 的 REINFORCE 期望是 $o\sim {\pi }_{\theta }$。所以“数学等价于 REINFORCE”必须谨慎解释为“每个已采样正优势轨迹上的局部梯度形式相同”，而非严格等同于当前策略 on-policy REINFORCE 的无偏期望梯度。论文未分析由 ${\pi }_{\mathrm{old}}\ne {\pi }_{\theta }$ 导致的分布失配或估计偏差。

3.3.2 UP-GxPO: Universal Asymmetric Integration

UP-DAPO

$$J_{\mathrm{UP}\text{-}\mathrm{DAPO}}(\theta )=\mathbb{E}\left[\frac{1}{{\sum }_{i=1}^G|o_i|}\sum _{i=1}^G\sum _{t=1}^{|o_i|}\{\begin{array}{ll}{\hat{A}}_{i,t}\log {\pi }_{\theta }(o_{i,t}\mid q,o_{i,<t}),& {\hat{A}}_{i,t}>0,\\ \min [r_{i,t}{\hat{A}}_{i,t},\mathrm{clip}(r_{i,t},1-{ϵ}_{\mathrm{low}},1+{ϵ}_{\mathrm{high}}){\hat{A}}_{i,t}],& {\hat{A}}_{i,t}\le 0.\end{array}\right].\text{\hspace{1em}(14)}$$

UP-DAPO 对正优势使用 log-policy 项，对负优势维持 DAPO 解耦裁剪。文中将后者视为防止错误动作被过度惩罚的结构保护。

UP-GRPO

$$J_{\mathrm{UP}\text{-}\mathrm{GRPO}}(\theta )=\mathbb{E}\left[\frac{1}{G}\sum _{i=1}^G\frac{1}{|o_i|}\sum _t\{\begin{array}{ll}{\hat{A}}_i\log {\pi }_{\theta }-\beta D_{\mathrm{KL}}({\pi }_{\theta }\Vert {\pi }_{\mathrm{ref}}),& {\hat{A}}_i>0,\\ \min [r_{i,t}{\hat{A}}_i,\mathrm{clip}(r_{i,t},1-ϵ,1+ϵ){\hat{A}}_i]-\beta D_{\mathrm{KL}}({\pi }_{\theta }\Vert {\pi }_{\mathrm{ref}}),& {\hat{A}}_i\le 0.\end{array}\right].\text{\hspace{1em}(15)}$$

GRPO 中同一条 rollout 的所有 token 共享 ${\hat{A}}_i$。值得注意的是，KL 项在两个分支均被保留；因此“正向完全无约束”仅指没有 IS 上裁剪，不意味着没有参考策略约束。

UP-GSPO

$$J_{\mathrm{UP}\text{-}\mathrm{GSPO}}(\theta )=\mathbb{E}\left[\frac{1}{G}\sum _{i=1}^G\{\begin{array}{ll}{\hat{A}}_i\left(\frac{1}{|o_i|}{\sum }_t\log {\pi }_{\theta }(o_{i,t}\mid q,o_{i,<t})\right),& {\hat{A}}_i>0,\\ \min [s_i{\hat{A}}_i,\mathrm{clip}(s_i,1-ϵ,1+ϵ){\hat{A}}_i],& {\hat{A}}_i\le 0.\end{array}\right].\text{\hspace{1em}(16)}$$

这将正优势分支变为长度归一化的 token log-probability 和，负优势分支仍为 GSPO 序列级裁剪。

分析者判断： 非对称性是该工作的真正技术核心，而非仅“去掉上裁剪”。它依赖一个有力但未被充分验证的前提：正优势样本可安全地强化，而负优势样本必须保守处理。若正优势来自噪声奖励、错误验证器、投机性答案或组归一化的相对优势，则无界正向放大可能迅速巩固伪相关或奖励投机行为。论文没有提供奖励噪声、对抗验证器或不正确正优势样本下的鲁棒性实验。

---

3.4 Experiments

3.4.1 Experimental Setup

模型

• Qwen3-14B-Base；
• Qwen3-8B；
• Qwen3-30B-A3B-Base（MoE）；
• Qwen3-VL-8B-Instruct（视觉语言模型）。

三种训练—评测协议

1. 依照 DAPO 相关协议，在 DAPO-17K-MATH 训练，于 AIME24 评估 Avg@32、Maj@32 和 Best@32；
2. 在 MATH Levels 3–5 训练，于 AIME24、AMC23、MATH500、Minerva、OlympiadBench 上评估 Pass@1；
3. 在 Geometry3K 训练集训练，在测试集评估 Pass@1。

基线

论文列出 DAPO、GRPO、GMPO、ASPO、CISPO、Dr. GRPO、W-REINFORCE、REINFORCE++、RLOO、DPPO、GSPO、SAPO。主表实际比较 UP-GRPO 与其中 11 个基线。

实现

采用 verl 框架和 vLLM rollout/评估。正文称具体配置见附录 A。

3.4.2 Performance, Exploration, and Stability Analysis of UP-DAPO

作者在 Qwen3-14B-Base、DAPO-17K-MATH 设置下比较 DAPO 与 UP-DAPO：

• Fig. 2：UP-DAPO 峰值 Avg@32 51.15，DAPO 为 47.71；峰值 Maj@32 60.88，对比 58.36。
• Fig. 3：UP-DAPO 的训练概率熵曲线高于 DAPO；Best@32 峰值 81.79，对比 80.49。
• Fig. 4：UP-DAPO 的梯度范数和相对参考模型的 KL 散度被描述为与 DAPO 相近或略低。

作者解释： 更高熵和更高 Best@32 表明其探索能力增强；相近 KL 与梯度范数表明这种探索未损害稳定性。

分析者判断：

• 熵和 Best@32 提供了“更分散的采样分布、在 32 次尝试中更可能至少得到一次正确答案”的证据，但它们不是探索质量的完整度量。熵升高也可能来自不确定性增加、策略未收敛，或答案分布扩散。
• Best@32 的提升为 1.30 个百分点，小于 Avg@32 的 3.44 点提升；这与“更多发现高质量路径”一致，但并不唯一说明机制。还可能来自正确路径概率重新分配、评测随机性或解码设置。
• 没有提供多随机种子均值、方差、置信区间、显著性检验、逐题结果或完整训练曲线数据，因此不能判断上述差异的统计稳健性。
• KL 小不等同于优化稳定、模型能力保留或无有害漂移；梯度范数也无法检测全部数值异常、奖励投机、遗忘和跨域退化。

3.4.3 Ablation Studies of UP-DAPO

论文进行了两项关键消融：

1. 去除上裁剪但保留 ${\pi }_{\mathrm{old}}$ 分母： DAPO 设置 ${ϵ}_{\mathrm{high}}=\infty$。作者报告约 80 训练步后不稳定，梯度范数达到 $10^{13}$，KL 散度上升。
2. 正负优势均使用无界更新： 以 off-policy REINFORCE 风格更新两个分支。作者报告约 25 步内发生灾难性不稳定。

该消融的价值： 它直接针对“只去裁剪是否足够”与“是否必须非对称”两个核心设计选择，因而是论文最有说服力的实验证据之一。

仍然缺少的对照：

• 不同程度的策略陈旧度、不同 PPO epoch 数、不同学习率、不同 ${ϵ}_{\mathrm{high}}$ 的系统扫描；
• 仅采用 self-anchor、但改变负分支处理的更多替代方案；
• 其他稳定手段，如梯度裁剪、学习率缩放、显式 KL 控制、重加权或更频繁 rollout 刷新的等预算比较；
• 多种随机种子下的发散概率；
• 无界正分支在奖励噪声和错误验证情形中的失败模式。

因此，这些消融证明的是“在该配置中，这两个极端基线会失稳”，而不是唯一证明 UP 是唯一可行的稳定解。

3.4.4 Comparison with Other RL Baselines

在 Qwen3-8B、MATH Levels 3–5 训练、五个数学推理基准的统一 Pass@1 协议下，Table 1 报告：

方法	AIME24	AMC23	MATH500	Minerva	OlympiadBench	平均
GRPO	35.73	75.00	86.00	30.88	51.34	55.79
Dr. GRPO	33.33	85.00	85.80	30.15	51.19	57.09
CISPO	38.02	87.50	86.60	29.04	55.65	59.36
DPPO	40.10	87.50	86.20	30.51	53.27	59.52
GMPO	37.50	87.50	87.00	31.25	55.06	59.66
GSPO	40.52	85.00	88.20	31.25	55.80	60.15
SAPO	39.90	82.50	87.20	30.88	55.65	59.23
REINFORCE++	20.52	62.50	78.80	29.78	42.26	46.77
RLOO	31.67	80.00	85.20	28.68	50.60	55.23
W-REINFORCE	35.52	80.00	85.80	30.15	53.27	56.95
ASPO	37.50	85.00	87.60	29.78	58.48	59.67
UP-GRPO	41.04	87.50	88.40	31.25	58.33	61.31

论文直接证据： UP-GRPO 的平均分最高，比 GSPO 高 1.16 点；在 AIME24 和 MATH500 为独立最高，在 AMC23 与三种方法并列最高，在 Minerva 与 GMPO/GSPO 并列最高；OlympiadBench 低于 ASPO 的 58.48。

需要谨慎之处：

• “四个基准第一或并列第一”是表中数值事实，但没有标准误、显著性检验或多 seed 结果，无法判定与 0.1–1 点级差异是否稳健。
• 强基线“仅采用原论文的算法特异超参数”而未披露每个基线的完整超参数与重调过程，严格的调参公平性仍难评估。
• 五个基准高度集中于数学/竞赛推理；这支持跨这些数学基准的泛化，不足以支持通用自然语言推理、代码、规划、事实问答或开放域安全性的泛化。

3.4.5 Universality of UP across Algorithms, Architectures, and Modalities

• UP-GSPO / Qwen3-30B-A3B-Base： 在 DAPO-17K-MATH 训练、AIME24 评估下，UP-GSPO 峰值 Avg@32 为 55.73，GSPO 为 52.71；KL 曲线据作者描述几乎相同。
• UP-GRPO / Qwen3-VL-8B-Instruct： 在 Geometry3K 上，UP-GRPO 峰值准确率 62.60，GRPO 为 59.30；KL 曲线据作者描述近乎相同。

作者主张： UP 跨算法粒度、稠密/MoE 架构、文本/多模态训练均有效，因而具备 universality。

分析者判断： 证据显示该目标函数已在至少三种 GxPO 实例和四种模型设置中运行并带来正向结果，支持“具有初步跨设置适用性”。但“真正通用”仍偏强：每个关键维度大多仅有一个模型或一个数据集；视觉语言实验只使用几何题；没有不同规模、不同供应商模型、不同奖励类型、不同离策略程度或长训练稳定性的系统覆盖。

---

4. 图片、表格与可视化

所提供文本包含图题、图中标注和作者文字说明，但没有原始图片像素、逐点数值、完整图例细节或误差条信息。以下只报告可直接确认的内容；未出现的坐标含义、颜色精确定义、样本量或统计标记不予臆测。

图 1：DAPO 与 UP-DAPO 的 Probability Capacity 可视化

图 1 用概率空间直观展示“更新预算”：传统裁剪像给低概率正确 token 一张按其原有概率比例缩小的额度卡；UP 正分支则取消这张由旧概率决定的额度卡。

图 1(a)：DAPO，$\hat{A}>0$

1. 展示内容： 正优势下 DAPO 的 Cap；上裁剪 ${ϵ}_{\mathrm{high}}$ 触发后进入 Upper Clip 区域，Cap 为 0。
2. 坐标/颜色/标记： 提取文本未给出坐标轴名称、颜色编码、样本量、误差条或统计标记。可确定的边界是 ${\pi }_{\theta }=(1+{ϵ}_{\mathrm{high}}){\pi }_{\mathrm{old}}$。
3. 作者解读： 正优势 token 一旦超过上裁剪边界，梯度被截断。
4. 直接支持： 在作者给定的 surrogate 及固定 ${\pi }_{\mathrm{old}}$ 下，Eq. (10)–(11) 使该局部 Cap 为 0。
5. 不能支持： 不能证明低概率正确轨迹永远不能提升，也不能量化跨批次训练中的总累计更新。
6. 作者结论： DAPO 的正向裁剪会限制探索。
7. 替代解释与缺失： 图是理论示意，不是实测分布；缺少实际 token 概率、跨步轨迹、不同 ${ϵ}_{\mathrm{high}}$ 与 rollout 刷新频率下的验证。

图 1(b)：UP-DAPO，$\hat{A}>0$

1. 展示内容： UP-DAPO 正优势分支不使用上裁剪，作者将其 Cap 表达为 $1-{\pi }_{\theta }$。
2. 直接可观察/可推导事实： 按 Eq. (12)–(13)，正分支反向梯度不含传统 IS 比率及其上裁剪截断。
3. 作者解释： 所有 token 保有对应的正向更新容量，避免被历史策略概率限制。
4. 实际支持： 支持“正分支的局部梯度不会因 $r>1+{ϵ}_{\mathrm{high}}$ 而归零”。
5. 不能支持： 不支持“所有 token 都会被有效探索”或“无界更新总是安全”；仍有优化器、参数耦合、KL、有限训练步数和奖励质量的约束。
6. 前提： stop-gradient 在实现中正确生效，优势符号可靠，且离策略样本失配不造成不可接受偏差。

图 1(c)：DAPO/UP-DAPO，$\hat{A}\le 0$

1. 展示内容： 两者在非正优势下均保留 DAPO 的负向裁剪；Lower Clip 与 Dual Clip 区域中 Cap 为 0。
2. 边界含义： 附录给出的有效窗口为 $(1-{ϵ}_{\mathrm{low}})\le r_{i,t}\le c$；$c$ 是 dual-clip 阈值。
3. 作者解释： 负分支的限制防止对错误动作的过度惩罚，维持训练稳定。
4. 实际支持： 两者的负分支共享同类裁剪保护。
5. 缺失： 主文和附录没有给出实验所用 dual-clip $c$ 的具体数值；也未以消融量化 $c$ 对性能和稳定性的影响。
6. 替代解释： 负样本稳定也可能受学习率、KL、优势尺度或优化器影响，不能仅归因于双重裁剪。

图 2：DAPO 与 UP-DAPO 在 AIME24 的训练中性能

图 2(a)：Avg@32

1. 展示内容： Qwen3-14B-Base 训练 0–约 150 步过程中的 AIME24 Avg@32。
2. 坐标： 横轴 Training Steps，纵轴 Avg@32 Accuracy；虚线和标注为各方法峰值。
3. 直接证据： UP-DAPO 峰值 51.15，DAPO 峰值 47.71。
4. 作者解释： UP-DAPO 后期形成性能差距，说明移除 ${\pi }_{\mathrm{old}}$ 锚定有助于推理优化。
5. 不能支持： 单条训练曲线和峰值不说明平均训练性能、统计显著性或因果机制；也不能排除评测采样方差。

图 2(b)：Maj@32

1. 展示内容： 同一训练过程的 AIME24 多数投票准确率。
2. 坐标： 横轴 Training Steps，纵轴 Maj@32 Accuracy。
3. 直接证据： UP-DAPO 峰值 60.88，DAPO 峰值 58.36。
4. 作者解释： UP-DAPO 对聚合推理输出也更优。
5. 局限： 未提供 32 条轨迹间相关性、投票格式/答案归一化细节，以及题级不确定性。

图 3：探索容量

图 3(a)：Entropy

1. 展示内容： DAPO-17K-MATH 训练集上的生成概率熵，比较 DAPO 与 UP-DAPO。
2. 坐标： 横轴 Training Steps，纵轴 Entropy。
3. 直接证据： 作者报告 UP-DAPO 熵高于 DAPO，但未在文本中给出峰值或逐步数值。
4. 作者解释： 更高熵直接对应更大的探索能力。
5. 审慎解释： 熵是策略分散度指标，不等同于高价值探索；缺少熵的具体定义（token/序列、平均方式、掩码、温度）和与正确率的统计关联分析。

图 3(b)：Best@32

1. 展示内容： AIME24 上至少一次正确生成的概率指标。
2. 坐标： 横轴 Training Steps，纵轴 Best@32 Accuracy。
3. 直接证据： UP-DAPO 81.79，DAPO 80.49。
4. 作者解释： 更高熵转化为更强探索、发现更高质量推理路径。
5. 不能支持： 不能仅凭该相关变化确证“熵提升导致 Best@32 提升”；二者可能共同受更新机制或其他训练变化影响。

图 4：训练稳定性

图 4(a)：Gradient Norm

1. 展示内容： DAPO-17K-MATH 上 DAPO 与 UP-DAPO 的梯度范数。
2. 坐标： 横轴 Training Steps，纵轴 Gradient Norm。
3. 直接证据： 文本称 UP-DAPO 与 DAPO 相当或略低；未提供精确峰值。
4. 作者解释： UP 正分支未造成梯度爆炸。
5. 边界： 这支持没有观察到该指标上的明显爆炸，不能排除局部层梯度异常、损失尖峰、数值溢出、性能塌缩或长期不稳定。

图 4(b)：KL Divergence

1. 展示内容： 活动策略与参考模型之间的 KL 散度。
2. 坐标： 横轴 Training Steps，纵轴 KL Divergence。
3. 直接证据： UP-DAPO 的 KL 与 DAPO 接近或略低。
4. 作者解释： 策略未偏离参考模型，因此保持稳定。
5. 边界： KL 是约束代理，不是稳定性的充分条件；其具体估计方向、token 聚合方式、参考模型和阈值没有在图注中说明。

图 5：UP-DAPO 消融的稳定性

图 5(a)：Gradient Norm

1. 展示内容： DAPO、${ϵ}_{\mathrm{high}}=\infty$ 的 DAPO、off-policy REINFORCE、UP-DAPO 的梯度范数。
2. 坐标： 横轴 Training Steps，纵轴为对数刻度 Gradient Norm，标注范围含 $10^1$ 至 $10^{13}$。
3. 直接证据： ${ϵ}_{\mathrm{high}}=\infty$ 的 DAPO 超过约 80 步后梯度范数至 $10^{13}$；off-policy REINFORCE 约 25 步内失稳。
4. 作者解释： 前者说明仅删上裁剪而保留旧策略分母不安全；后者说明负分支裁剪是必需保护。
5. 限制： 缺少重复次数、失败比例与数值稳定实现细节，不能判断该失稳是否由单次随机轨迹或实现设置所主导。

图 5(b)：KL Divergence

1. 展示内容： 相同四种方法的 KL 散度。
2. 坐标： 横轴 Training Steps，纵轴为对数刻度 KL Divergence，图中可见 $10^{-7}$ 至 $10^1$ 量级标注。
3. 直接证据： 文本称两种无界对照的 KL 随失稳显著上升，UP-DAPO 保持稳定。
4. 作者结论： 自锚定与非对称性共同防止训练失稳。
5. 替代解释： UP-DAPO 与 DAPO 的实际有效步长、梯度尺度可能不同；未提供以等累计 KL、等有效更新量或等 wall-clock 成本校正后的比较。

表 1：UP-GRPO 与 11 个 RL 基线的五基准 Pass@1

表中数值已在“3.4.4”完整列出。其最有力的直接结论是：在该统一训练语料与 Qwen3-8B 协议中，UP-GRPO 的五基准简单平均最高。 它不能替代多 seed 显著性分析，也不能证明所有基准、所有模型或所有训练预算上的全面优越性。

图 6：12 种方法的熵与 KL

图 6(a)：Entropy

1. 展示内容： Qwen3-8B 在 MATH Levels 3–5 训练的 0–200 步熵曲线。
2. 直接证据： 作者描述多数方法熵逐步下降；UP-GRPO 持续上升；W-REINFORCE 与 ASPO 也避免了熵坍塌。
3. 作者解释： 非对称优化是维持长程 RL 探索的必要结构成分。
4. 不能支持： 观察到三种非对称法未熵坍塌，不足以证明“非对称性是必要条件”；可能存在未测试的对称替代设计，也未控制不同算法的熵正则与超参数。

图 6(b)：KL Divergence

1. 展示内容： 相同方法的 KL 散度，纵轴为对数刻度。
2. 直接证据： 作者称 UP-GRPO 的 KL 全程处于最低者之一。
3. 作者结论： UP-GRPO 同时具有强探索和稳定训练。
4. 限制： 缺少精确数值、方差和相同有效训练强度的对照；KL 低亦可能表示更新更保守，必须与任务改善共同解释。

图 7：UP-GSPO 与 GSPO

图 7(a)：Avg@32

1. 展示内容： Qwen3-30B-A3B-Base、DAPO-17K-MATH 训练中 AIME24 Avg@32。
2. 直接证据： UP-GSPO 55.73，GSPO 52.71。
3. 作者解释： UP 可跨 token/sequence 优化粒度与稠密/MoE 架构发挥作用。
4. 限制： 只覆盖一个 MoE 模型与一个训练任务，不能孤立出模型架构与算法粒度哪一因素贡献更大。

图 7(b)：KL Divergence

1. 展示内容： UP-GSPO 与 GSPO 的 KL 散度。
2. 直接证据： 文本称两者“几乎相同”。
3. 作者结论： 性能提升未增加失稳。
4. 边界： 未报告最终 KL、峰值 KL 或训练失稳阈值。

图 8：多模态 Geometry3K 验证

图 8(a)：Accuracy

1. 展示内容： Qwen3-VL-8B-Instruct 在 Geometry3K 测试集上的准确率。
2. 直接证据： UP-GRPO 峰值 62.60，GRPO 为 59.30。
3. 作者解释： UP 可扩展至视觉语言几何推理。
4. 限制： Geometry3K 是视觉几何问题，不能代表更广泛视觉问答、图表理解、OCR、视频或开放式多模态对齐。

图 8(b)：KL Divergence

1. 展示内容： 多模态训练时两种方法的 KL 散度。
2. 直接证据： 文本称二者近乎一致。
3. 作者结论： 正向无界更新没有引入额外多模态训练不稳定。
4. 边界： 未报告视觉编码器是否训练、哪些参数更新、图文输入处理方式、评测种子和统计误差。

表 A1：DAPO/UP-DAPO 与 GSPO/UP-GSPO 超参数

项目	Dense 14B：DAPO / UP-DAPO	MoE 30B：GSPO / UP-GSPO
Prompt / Response 最大长度	2,048 / 20,480	2,048 / 20,480
全局 batch（prompts）	512	256
Rollout n	16	16
PPO mini-batch	32	32
学习率	$1\times 10^{-6}$	$1\times 10^{-6}$
下裁剪 ${ϵ}_{\mathrm{low}}$	0.2	$3\times 10^{-4}$
上裁剪 ${ϵ}_{\mathrm{high}}$	DAPO 0.28；UP-DAPO 无	GSPO $4\times 10^{-4}$；UP-GSPO 无

直接支持的是作者确实保持了每个基线—UP 对中多数列出的训练参数一致，并在 UP 中移除了正优势上裁剪。未列出优化器类型、权重衰减、梯度裁剪、PPO epoch、KL 系数、奖励函数、优势计算、dual clip $c$、硬件数量、训练时间及随机种子，故可复现信息仍不完整。

表 A2：DAPO/UP-DAPO 与 GSPO/UP-GSPO 解码配置

训练 rollout temperature 均为 1.0，训练 Top-p 均为 1.0，验证 Top-p 均为 0.7，Top-k 均为 -1，最大生成 token 均为 20,480。该表支持两组比较采用相同解码参数；但未说明验证时每项指标的精确采样次数、答案抽取规则与随机种子。

表 A3：GRPO/UP-GRPO 的超参数

项目	GRPO / UP-GRPO
Prompt / Response 最大长度	1,024 / 3,072
全局 batch	128
Rollout n	8
PPO mini-batch	32
学习率	$1\times 10^{-6}$
下裁剪 ${ϵ}_{\mathrm{low}}$	0.2
上裁剪 ${ϵ}_{\mathrm{high}}$	GRPO 0.2；UP-GRPO 无

表 A4：GRPO/UP-GRPO 的解码配置

训练 temperature 1.0、训练 Top-p 1.0、验证 Top-p 0.7、Top-k -1、最大生成 token 3,072。

表 A5：多模态 GRPO/UP-GRPO 超参数

项目	GRPO / UP-GRPO
Prompt / Response 最大长度	1,024 / 2,048
全局 batch	512
Rollout n	5
PPO mini-batch	128
学习率	$1\times 10^{-6}$
下裁剪 ${ϵ}_{\mathrm{low}}$	0.2
上裁剪 ${ϵ}_{\mathrm{high}}$	GRPO 0.28；UP-GRPO 无

表 A6：多模态解码配置

训练 temperature 1.0、训练 Top-p 1.0、验证 Top-p 0.7、Top-k -1、最大生成 token 2,048。

附录公式 A1–A3：负优势的 Cap

作者定义：

$$J_{\mathrm{neg}}(\theta )=\min [r_{i,t}(\theta )\hat{A},\mathrm{clip}(r_{i,t}(\theta ),1-{ϵ}_{\mathrm{low}},1+{ϵ}_{\mathrm{high}})\hat{A}].\text{\hspace{1em}(A1)}$$

并给出有效更新窗口：

$$(1-{ϵ}_{\mathrm{low}})\le r_{i,t}(\theta )\le c.\text{\hspace{1em}(A2)}$$

负优势的概率容量为：

$$\mathrm{Cap}({\pi }_{\theta },{\pi }_{\mathrm{old}})=\{\begin{array}{ll}{\pi }_{\theta }-(1-{ϵ}_{\mathrm{low}}){\pi }_{\mathrm{old}},& (1-{ϵ}_{\mathrm{low}}){\pi }_{\mathrm{old}}\le {\pi }_{\theta }\le c{\pi }_{\mathrm{old}},\\ 0,& {\pi }_{\theta }<(1-{ϵ}_{\mathrm{low}}){\pi }_{\mathrm{old}},\\ 0,& {\pi }_{\theta }>c{\pi }_{\mathrm{old}}.\end{array}\text{\hspace{1em}(A3)}$$

该推导清楚表明：负分支仍由历史策略定义相对概率窗口。其前提是 dual-clip 的实现与 $c$ 的设定合理，但文中未报告 $c$ 的实际值。

附录公式 A4–A7：UP-GSPO 的梯度

作者先定义正优势的序列级自锚定 surrogate：

$$J_{\mathrm{UP}\text{-}\mathrm{GSPO}}^{+}(\theta )=\mathbb{E}\left[\frac{1}{G}\sum _{i=1}^G{\hat{A}}_i{\left(\frac{{\pi }_{\theta }(o_i\mid q)}{\mathrm{sg}({\pi }_{\theta }(o_i\mid q))}\right)}^{1/|o_i|}\right].\text{\hspace{1em}(A4)}$$

其导数经链式法则化简为：

$${\nabla }_{\theta }{J}_{\mathrm{UP}\text{-}\mathrm{GSPO}}^{+}(\theta )=\mathbb{E}\left[\frac{1}{G}\sum _{i=1}^G{\hat{A}}_i\left(\frac{1}{|o_i|}\sum _{t=1}^{|o_i|}{\nabla }_{\theta }\log {\pi }_{\theta }(o_{i,t}\mid q,o_{i,<t})\right)\right].\text{\hspace{1em}(A6)}$$

这说明正优势的每个样本梯度形式是长度归一化的 log-policy 梯度。最终目标 A7 与主文 Eq. (16) 一致。仍须注意，附录中的期望仍基于历史策略采样；它没有推导该离策略样本分布下的偏差界或收敛保证。

---

5. 结论

最终总结

论文提出了一个清晰、实现上简洁的非对称 RL 目标：对正优势 rollout 移除 IS 上裁剪并使用 stop-gradient 自锚定梯度，对负优势 rollout 保留现有裁剪保护。其理论贡献是以 Cap 将“裁剪上界与旧策略概率成比例”的局部限制显式化；其实验贡献是在若干数学与几何推理设置中报告优于基线的性能。

科学与技术意义

对 LLM 推理 RL 而言，论文把注意力从“如何调节裁剪阈值”转向“正、负反馈是否应遵循相同的离策略校正与信赖域规则”。这一视角有价值，尤其适合讨论稀少正回报的强化学习。

证据强度

• 机制推导：中等。 stop-gradient 确实移除了正分支的显式 IS 比率乘子和上裁剪；Cap 推导在局部 surrogate 意义上成立。
• 稳定性解释：有限至中等。 具体消融显示两个无界对照会失稳，但没有通用理论收敛证明或广泛超参数鲁棒性研究。
• 经验性能：中等。 多种模型和算法呈现一致正向结果，尤其主表覆盖多个数学基准；但缺少多 seed 方差和显著性分析。
• “通用性”结论：有限。 现有结果说明具有跨若干设置的潜力，不足以建立无条件的普适性。

作者提出的未来含义

作者结论强调 UP 可作为 GxPO 的通用插件，在不牺牲稳定性的前提下释放探索。

真正合理的后续方向

1. 给出离策略自锚定正分支的偏差、方差与收敛分析；
2. 在奖励错误、验证器噪声、对抗性奖励和不同样本陈旧度下测试鲁棒性；
3. 报告多 seed、置信区间、计算成本、吞吐、显存与训练失败率；
4. 将实验扩展至代码、开放域问答、代理规划、不同长度分布和不同模态任务；
5. 分离并量化“更高熵”“更高 Cap”“更高正确路径发现率”“更优最终准确率”之间的关系；
6. 与自适应 KL、频繁 refresh、ratio 重加权、熵正则和其他非对称路线做等计算预算的系统比较。

---

6. 参考文献

以下均为本文明确引用的关键基础工作或相关工作；未进行外部检索。

1. Williams (1992), REINFORCE [33]：提出经典蒙特卡洛策略梯度。本文以其不含 IS 比率放大的梯度形式作为正分支设计参照。
2. Schulman et al. (2015), TRPO [25]：信赖域策略优化，是限制策略更新幅度的理论背景。
3. Schulman et al. (2017), PPO [26]：引入裁剪 surrogate 的核心工作。本文的“裁剪抑制稳定性但限制探索”问题直接围绕此类机制展开。
4. Shao et al. (2024), DeepSeekMath / GRPO [28]：提出 GRPO，使用组相对优势并避免 critic。UP-GRPO 是本文的主要大规模基线比较实例。
5. Yu et al. (2025), DAPO [36]：引入解耦上下裁剪边界，本文的 UP-DAPO 直接建立于此。
6. Zheng et al. (2025), GSPO [41]：序列级、长度归一化重要性采样。本文的 UP-GSPO 用于论证方法可跨优化粒度。
7. Ahmadian et al. (2024), REINFORCE++/RLOO 相关 [1]：重新讨论面向 LLM 人类反馈学习的 REINFORCE 风格优化，是本文比较的 critic-free 路线之一。
8. Wang et al. (2025), ASPO [32]：非对称重要性采样策略优化。与本文最接近的思想背景之一，主表中 ASPO 在 OlympiadBench 上优于 UP-GRPO。
9. Zhu et al. (2025), W-REINFORCE [43]：负向强化相关工作，也采用对正负 rollout 非对称处理；图 6 中其与 ASPO 同样避免了作者所称的熵坍塌。
10. Zhao et al. (2025), GMPO [40]：几何均值策略优化，提供本文序列/比率设计的竞争性基线。
11. Lightman et al. (2023), Let’s Verify Step by Step [16]：MATH 数据集/过程监督背景；本文使用 MATH Levels 3–5 训练。
12. Lu et al. (2021), Inter-GPS / Geometry3K [19]：几何视觉推理数据背景，支撑本文多模态实验。

为评估本文而有必要讨论的替代路线： 仅限论文引用范围，主要包括调节裁剪边界的 BandPO、SAPO、GMPO，调整信赖域的 DPPO，序列级优化的 GSPO，以及非对称优化的 ASPO、W-REINFORCE。由于没有外部检索，不对这些方法的最新版本、优先权、独立复现效果或研究团队影响力做超出本文参考文献的断言。

---

7. 补充材料

提供文本包含附录 A–C，但未提供独立 supplementary PDF、代码仓库、原始数据或额外实验文件。

附录 A：方法与复现细节

附录补充了模型规模、最大输入输出长度、batch、rollout 数、mini-batch、学习率、裁剪阈值和解码参数。其重要价值在于说明基线—UP 配对实验中，论文声称只改变优化目标/正优势上裁剪处理。

但仍缺少：

• 优化器、动量、权重衰减、学习率调度；
• PPO epoch/每批复用次数；
• 奖励函数、格式奖励、验证器、优势归一化精确定义；
• KL 具体估计和系数；
• dual clip $c$；
• 训练硬件、总 token、训练时长、成本；
• 种子数量、失败运行数和统计检验；
• 代码和 checkpoint。

这些缺口限制了严格复现、稳定性归因及成本—性能判断。

附录 B：负优势 Cap 推导

附录 B 形式化了负优势时 Lower Clip 与 Dual Clip 的概率容量，明确 UP-DAPO 并没有改变这一分支。这加强了“UP 是正向无界、负向保守”的技术定义，但没有额外实验证据验证该推导预测的具体 Cap 与训练行为之间的定量对应。

附录 C：UP-GSPO 梯度推导

附录 C 展示长度归一化幂次在求导后相消，得到长度归一化的 REINFORCE 型梯度。这是将 UP 从 token 级扩展到 sequence 级最关键的数学补充。

其局限是：推导针对 surrogate 的局部反向梯度，未给出离策略历史样本下的无偏性、方差界、收敛性或策略性能单调改进保证。

---

第二阶段：专业学术问题回答

Q1

Q1: 这篇论文试图解决什么问题？

A1: 这篇论文试图解决 LLM 推理强化学习中“样本复用带来的重要性采样不稳定性”与“裁剪带来的探索受限性”之间的矛盾。传统 GRPO/DAPO/GSPO 为复用历史 rollout 使用 ${\pi }_{\theta }/{\pi }_{\mathrm{old}}$；若不裁剪，比率可放大梯度，若裁剪，正优势低概率 token 的更新预算又会很快耗尽。论文要解决的不是“如何完全不使用约束”，而是如何让正向正确反馈被持续强化，同时让负向更新仍保持保守。

Q2

Q2: 这是一个新问题吗？

A2: 不是。重要性采样方差、信赖域约束、PPO 裁剪偏差、探索与稳定的权衡都是强化学习长期存在的问题；在 LLM 推理 RL 中，GRPO、DAPO、GSPO、ASPO、W-REINFORCE 等本文引用工作也已讨论相关现象。本文相对新颖之处在于将该问题表述为“Probability Capacity”，并针对正优势分支提出自锚定 stop-gradient 目标。是否构成真正全新的理论问题，应与这些相关工作逐篇精确比较；本文当前材料不足以完成优先权判断。

Q3

Q3: 这篇论文试图验证什么科学假设？

A3: 本文的核心科学假设是：在基于组相对优势的 LLM 推理 RL 中，若对正优势 rollout 以 ${\pi }_{\theta }/\mathrm{sg}({\pi }_{\theta })$ 产生无 IS 比率放大的 log-policy 梯度，而对非正优势 rollout 保留裁剪保护，则可以同时：

1. 避免传统正向上裁剪对低历史概率正确路径的更新截断；
2. 增强策略熵、Best@32 或最终推理准确率；
3. 不引发传统无裁剪 IS 所见的梯度/KL 爆炸；
4. 跨 DAPO、GRPO、GSPO、MoE 和视觉语言模型有效。

这是一个“机制—优化动态—下游性能”的复合假设。论文对其作了部分经验支持，但尚未完成严格的广泛因果验证。

Q4

Q4: 作者为了解决问题/验证假设提出的解决方案是什么？

A4: 作者提出 UP，即正负优势不对称优化：

• 正优势： 以 stop-gradient 自锚定比率替换旧策略重要性比率，令反向梯度为 $\hat{A}\nabla \log {\pi }_{\theta }$，取消正向上裁剪；
• 非正优势： 保持 DAPO、GRPO、GSPO 的裁剪/双重裁剪及 GRPO 的 KL 保护；
• 适配层： 将同一原则分别写成 token 级 UP-DAPO、UP-GRPO 和序列级 UP-GSPO。

它可类比为：对已被奖励判定为好的方向取消“按旧概率配额”的加速限制，但对坏方向仍设制动器，避免一次过猛的反向校正。

Q5

Q5: 这个解决方案的关键点、难点、创新点在哪？

A5: 解决方案的关键点在于：用 $\mathrm{sg}({\pi }_{\theta })$ 构造一个前向恒等、反向非零的 surrogate，使正优势的梯度不再乘以可能爆炸的 ${\pi }_{\theta }/{\pi }_{\mathrm{old}}$，也不再在传统上裁剪边界归零。

难点体现在：

1. 需要在保留历史 rollout 多步训练的同时，避免标准离策略 IS 比率的放大；
2. 需要解释为何正、负优势不能使用同一个无界目标；
3. 需要把 token 级与序列级目标统一到可实现的形式；
4. 需要避免正向无界更新造成训练漂移。

创新点是：

• 提出 Cap 作为绝对概率空间中的局部裁剪预算；
• 对正优势使用 stop-gradient self-anchor；
• 明确将正向探索与负向稳定拆分为两个优化分支；
• 通过 DAPO、GRPO、GSPO 三个实例展示其可移植性。

但“创新”不应夸大为首个非对称优化：论文自身引用 ASPO 与 W-REINFORCE 等相关路线。UP 的差异在于具体的自锚定正分支，而不是非对称思想本身。

Q6

Q6: 论文中的实验是如何进行设计的？

A6: 论文的实验设计包括……并批判性评估其对照、变量控制、统计有效性、外部有效性和可复现性。

具体而言，作者采用三套协议：

1. UP-DAPO 配对比较： Qwen3-14B-Base 在 DAPO-17K-MATH 上训练，使用 16 个 rollout、全局 batch 512、学习率 $10^{-6}$、最大输出 20,480；比较 DAPO 与 UP-DAPO 的 AIME24 Avg@32、Maj@32、Best@32、熵、梯度范数和 KL。
2. 主基线比较： Qwen3-8B 在 MATH Levels 3–5 上训练，使用 8 个 rollout、全局 batch 128、学习率 $10^{-6}$、最大输出 3,072；在五个数学基准上比较 UP-GRPO 与 11 种 RL 基线的 Pass@1。
3. 跨架构与模态实验： Qwen3-30B-A3B-Base 上比较 GSPO/UP-GSPO；Qwen3-VL-8B-Instruct、Geometry3K 上比较 GRPO/UP-GRPO。
4. 消融： 将 DAPO 上裁剪设为无穷，以及将正负优势均采用无界 off-policy REINFORCE 风格更新，用于检验 self-anchor 与非对称设计的必要性。

对照与变量控制： 在基线—UP 成对对照中，附录显示模型、数据、batch、rollout、学习率、长度及解码设置基本相同，主改变是正优势分支的目标和上裁剪。这是合理的内部效度设计。主表中不同基线使用相同骨干、训练语料、评测集、batch、生成预算和解码配置，但算法特异超参数取自各原论文，是否充分重调不可知。

统计有效性： 较弱。论文没有报告随机种子数、均值标准差、置信区间、显著性检验、题级配对比较或训练失败率。尤其 1–3 个百分点的基准差异是否稳健无法判断。

外部有效性： 中等但有限。覆盖三种 GxPO 实例、稠密/MoE、文本/一个视觉几何数据集；但任务仍主要为数学与几何推理，未覆盖代码、开放域、代理、不同奖励模型、不同模型家族、不同离策略陈旧度及更长训练期。

可复现性： 部分可复现。公式和若干核心超参数充分，但优化器、PPO epoch、奖励/优势细节、dual clip、硬件、总训练 token、种子、代码与 checkpoint 缺失，阻碍精确复现。

Q7

Q7: 作者使用了哪些方法/数据/分析来支撑他们的结论？

A7: 作者主要采用 Cap 的解析推导、stop-gradient 自锚定梯度推导、配对训练实验、多基线基准比较、稳定性消融，以及熵/KL/梯度范数诊断来支撑结论。

• 方法： UP-DAPO、UP-GRPO、UP-GSPO；
• 训练数据： DAPO-17K-MATH、MATH Levels 3–5、Geometry3K；
• 评测数据： AIME24、AMC23、MATH500、Minerva、OlympiadBench、Geometry3K test；
• 指标： Avg@32、Maj@32、Best@32、Pass@1、entropy、gradient norm、KL divergence；
• 理论分析： Eq. (7)–(13) 对传统 IS 与自锚定梯度的比较；附录对负优势 Cap 与 UP-GSPO 梯度的推导；
• 消融： ${ϵ}_{\mathrm{high}}=\infty$ 的 DAPO 与正负都无界的 off-policy REINFORCE 风格目标。

Q8

Q8: 论文中的实验和结果是否很好地支持了需要验证的科学假设？

A8: 它们对核心假设提供了有力但不完整的支持。

• 直接支持：

  • Eq. (12)–(13) 直接说明正分支的反向梯度不含传统 IS 比率乘子，也没有正向上裁剪截断；
  • 图 5 显示两个关键替代方案在该设置中分别后期或早期失稳，支持“自锚定”和“正负非对称”具有实用必要性；
  • 多个实验报告 UP 变体准确率提升，并且未观察到明显的梯度/KL 爆炸；
  • Table 1 的统一协议下，UP-GRPO 平均 Pass@1 最高。

• 间接支持：

  • 更高 entropy 与 Best@32 与“探索增强”一致；
  • KL 与基线相近，与“没有明显额外策略漂移”一致；
  • MoE 和视觉几何实验与“具有一定跨设置适用性”一致。

• 仅与假设一致但不足以证明：

  • 熵上升不足以证明探索质量更高，更不足以证明 Cap 是准确的因果中介；
  • 较低/相近 KL、梯度范数不足以证明训练过程普遍稳定；
  • 单模型、单数据集的 MoE/视觉结果不足以证明“通用插件”；
  • 局部梯度形式与 REINFORCE 相同，不等于离策略历史样本下的整体优化等价于 on-policy REINFORCE。

• 未覆盖或存在替代解释：

  • 缺少奖励噪声、验证器失误、长数据陈旧度、超参数变化和多 seed 的鲁棒性分析；
  • 性能提升可能部分来自有效梯度尺度变化、更新步长差异、正负优势比例或 KL 动态，而不仅是“探索容量”；
  • 未证明正优势样本总是正确、无噪声且值得无界强化。

因此，论文已相当有效地证明 UP 是一个有前景的经验方法，但尚未严格证明其所宣称的广泛机制、无偏性和普适稳定性。

Q9

Q9: 这篇论文的具体贡献点是什么？

A9: 本文的贡献点主要体现在：

1. 概念性贡献： 用 Cap 将裁剪对绝对概率提升的局部限制显式化，强调低 ${\pi }_{\mathrm{old}}$ 正优势 token 的更新预算问题。
2. 目标函数贡献： 提出正优势自锚定、负优势保守裁剪的 UP 目标。
3. 算法适配贡献： 给出 UP-DAPO、UP-GRPO、UP-GSPO 的明确公式与序列级推导。
4. 实证贡献： 报告在多类模型、算法和若干推理任务上的性能提升，且给出两个与核心设计直接相关的稳定性消融。
5. 工程贡献： 以替换 policy loss 正分支的方式实现，按作者描述可作为插件集成。

真正的实质贡献主要是第 1–3 项及围绕它们的消融证据；使用 Qwen 模型、verl、vLLM、既有数学基准进行训练评测属于必要而常规的工程整合，不应与方法原创性混同。

Q10

Q10: 下一步可以深入开展哪些工作？

A10: 可深入开展的工作包括：

1. 离策略偏差与收敛理论。
   动机：当前正分支样本来自 ${\pi }_{\mathrm{old}}$，但梯度不再作传统 IS 校正。
   可行性：可分析策略陈旧度 $D({\pi }_{\mathrm{old}},{\pi }_{\theta })$ 下的偏差界、方差和性能下界。
   风险：LLM 高维自回归策略下界可能宽松。
   验证标准：理论界与受控陈旧度实验相吻合，并能预测何时 UP 失效。

2. 奖励噪声与正优势误判鲁棒性。
   动机：UP 对正优势无界强化，可能放大奖励黑客或验证器错误。
   可行性：人为注入标签噪声、格式奖励偏差和对抗样本。
   风险：噪声模型可能不代表真实验证器。
   验证标准：报告性能下降曲线、崩溃率与安全校准指标。

3. Cap 的因果检验。
   动机：当前 Cap 主要是理论解释变量。
   可行性：记录 token 级 ${\pi }_{\mathrm{old}}$、${\pi }_{\theta }$、梯度、被裁剪比例与后续正确率。
   风险：高维 token 状态有混杂。
   验证标准：在控制优势、长度和频率后，Cap 是否预测正路径的强化和最终性能。

4. 等计算量与等策略漂移比较。
   动机：不同目标的有效梯度尺度可能不同。
   可行性：固定总 rollout token、优化 token、wall-clock、最终 KL 或累计 KL。
   风险：公平预算定义不唯一。
   验证标准：UP 的收益在多种预算归一化下仍存在。

5. 更广泛任务与模型。
   动机：当前任务集中于数学/几何。
   可行性：扩展到代码验证、工具调用、长程规划、开放域 QA、不同视觉任务与不同模型家族。
   风险：奖励定义难一致。
   验证标准：预注册任务集合、报告成功与失败案例，而非只报告正结果。

6. 自适应非对称度。
   动机：二元按 $\hat{A}>0$ 切分可能粗糙。
   可行性：按优势置信度、验证器可信度、策略陈旧度、token 熵或长度自适应确定正分支强度。
   风险：增加超参数并可能重新引入不稳定。
   验证标准：在噪声奖励下优于固定 UP，且不增加失稳率。

Q11

Q11: 这篇论文还存在什么问题/漏洞/缺点/考虑不周/局限性/可以改进的地方？

A11: 按严重程度排序：

1. 离策略理论缺口——影响机制解释、因果结论与泛化。
   正分支将传统 IS 比率替换为自锚定梯度，但仍利用 ${\pi }_{\mathrm{old}}$ 采样的数据。论文将其称为与 REINFORCE 等价，严格说仅是单样本梯度形式相同；其采样分布仍不同。缺乏偏差、方差、收敛与策略单调改进分析，是最核心的理论局限。

2. “正优势 = 正确且安全强化”的隐含假设——影响机制解释、稳定性与安全。
   组归一化优势是相对量；它不自动等于真实正确性。奖励噪声、验证器漏洞、错误但相对较好的答案均可能获正优势。论文未检验 UP 是否更易放大奖励投机。

3. 统计报告不足——影响结果可信度与可复现性。
   未报告 seed 数、标准差、置信区间、显著性检验和训练失败率。表 1 中许多差距较小，无法判断稳定优越性。

4. 稳定性指标狭窄——影响稳定性结论。
   KL 与梯度范数是有用代理，但不足以证明无数值不稳定、无遗忘、无 reward hacking 或长期训练稳定。缺少训练损失、NaN/overflow、参数范数、跨域能力、长周期曲线和故障统计。

5. “通用性”外推过强——影响泛化能力判断。
   覆盖面优于单一设置，但每个新维度样本很少，且绝大多数是数学/几何推理。不能据此推出任意 RL 任务、任意模型或任意奖励机制均适用。

6. 对机制中介的验证不足——影响因果解释。
   更高熵、更高 Best@32 和更高准确率同时出现，但没有证明 Cap 增大是导致性能提升的原因，也未排除有效更新尺度改变等替代解释。

7. 复现细节不完整——影响工程可部署性。
   关键超参数表有帮助，但 dual-clip $c$、优化器、PPO epoch、优势/奖励计算、硬件、成本、代码等缺失。对于易失稳的 RL 方法，这些细节尤其重要。

8. 缺少效率和成本结果——影响工程可部署性。
   论文称“plug-and-play”，但未报告吞吐、训练耗时、显存、通信、生成成本或达到相同性能所需 rollout 数。无界正分支若需要额外稳定措施，其实际成本不明。

9. 相关工作比较深度有限——影响新颖性判断。
   本文与 ASPO、W-REINFORCE 等非对称方法在思想上接近，但没有在目标函数、优势定义、梯度尺度、理论保证和失败模式上做足够细粒度的分析。

Q12

Q12: 文中提到了哪些重要的概念/理论/名词？请做简要解释。

A12: 文中重要概念/理论/名词包括：

• 重要性采样（IS）：用行为策略 ${\pi }_{\mathrm{old}}$ 采得的数据，通过概率比率估计目标策略 ${\pi }_{\theta }$ 下的量。
• 重要性比率 $r_{i,t}$：${\pi }_{\theta }/{\pi }_{\mathrm{old}}$；它校正样本分布差异，但也可能放大梯度。
• 策略梯度 / REINFORCE：通过提高高优势动作的对数概率、降低低优势动作的对数概率来优化策略的经典方法。
• PPO 裁剪：将比率限制在指定区间，以避免单次策略更新过大；代价是边界外梯度可能被截断。
• GRPO：Group Relative Policy Optimization；使用组内相对优势而非 critic。
• DAPO：Dynamic sAmpling Policy Optimization；使用解耦的上下裁剪边界，文中作为 token 级主要基线。
• GSPO：Group Sequence Policy Optimization；以长度归一化的整段序列比率进行优化。
• 优势 $\hat{A}$：动作/轨迹相对基线的收益信号；正值促进该行为，负值抑制该行为。
• Probability Capacity（Cap）：作者定义的、在裁剪导致梯度归零前可允许的绝对概率增减量。
• stop-gradient，$\mathrm{sg}(\cdot )$：前向传递原数值，反向传播时阻止梯度的算子。
• self-anchored ratio（自锚定比率）：${\pi }_{\theta }/\mathrm{sg}({\pi }_{\theta })$；数值为 1，但导数产生 $\nabla \log {\pi }_{\theta }$。
• 非对称优化：对正优势与负优势采用不同目标或约束。
• Dual Clip：负优势下的额外裁剪上界 $c$，用于限制特定负向更新区域。
• KL 散度：衡量当前策略与参考策略差异的指标；本文将其作为策略漂移和稳定性的代理。
• 熵（Entropy）：策略输出分布的不确定性/分散程度；较高熵常与探索相关，但不保证探索质量。
• Avg@32 / Maj@32 / Best@32：分别是 32 次采样下的平均准确率、多数投票准确率和至少一次正确的概率性指标。
• Pass@1：一次生成的准确率。
• MoE（Mixture of Experts）：混合专家模型架构。
• RLVR：带可验证奖励的强化学习，通常使用数学答案、代码测试等可自动验证信号。

Q13

Q13: 与这篇论文相关的问题有哪些相关研究？它们如何分类？该领域有哪些值得注意的研究人员？

A13: 以下仅基于本文引用的相关工作，不包含外部补充文献，因此不对领域完整性、优先权或研究者影响力做确定性断言。

问题路线	本文引用的代表工作	与本文的关系
基础策略梯度与信赖域	Williams [33]；TRPO [25]；PPO [26]	提供 REINFORCE、信赖域与裁剪的理论背景。
LLM 对齐与推理 RL	Ouyang et al. [22]；Bai et al. [2]；DeepSeekMath/GRPO [28]；DeepSeek-R1 [9]	将策略优化用于 LLM 对齐与推理。
样本效率与 critic-free 优化	GRPO [28]；REINFORCE++ [11]；RLOO [1]	与本文同样关注不依赖/弱依赖 critic 的策略优化。
裁剪与信赖域改进	DAPO [36]；BandPO [15]；SAPO [8]；DPPO [23]；GMPO [40]；Klear-Reasoner [31]	试图调整裁剪、信赖域或重要性权重，构成 UP 的直接竞争路线。
序列级优化与长度问题	GSPO [41]；Length-unbiased sequence policy optimization [17]；Clip your sequences fairly [21]	聚焦 token/序列粒度和长度偏差；UP-GSPO 直接建立于 GSPO。
探索与长尾推理	Fan et al. [7]；Li et al. [14]；Cao et al. [3]；Snell et al. [30]	从推理路径探索、生成概率和测试时计算等角度讨论稀少正确路径。
非对称正负反馈	ASPO [32]；W-REINFORCE [43]；TOPR [24]	与本文最直接的问题相关路线：不将正负 rollout 视为完全对称。
稳定性与失效分析	Liu et al. [18]；Yue et al. [37]；Zheng et al. [42]；Ma et al. [20]	讨论 R1-like 训练、离策略陈旧数据、MoE RL 等稳定性问题。

本文参考文献中值得注意的研究者/团队，仅可保守列举其与本文关系：

• Ronald J. Williams：REINFORCE 基础工作。
• John Schulman 等：TRPO 与 PPO，是裁剪和信赖域的基础。
• Zhihong Shao 等（DeepSeekMath）：GRPO 相关基础。
• Qiying Yu 等：DAPO。
• Chujie Zheng 等：GSPO、SAPO 等相关序列/裁剪工作。
• Jiakang Wang 等：ASPO。
• Xinyu Zhu、Danqi Chen、Yu Meng 等：W-REINFORCE。
• Chongyu Fan 等：本文作者及其引用的探索/稳定性相关工作。

Q14

Q14: 与这篇论文相关的解决方案相似的有哪些相关研究？它们如何分类？该领域有哪些值得注意的研究人员？

A14: 以下同样仅依据本文引用的相关工作。

方法家族	代表工作	与 UP 的相同点	关键差异与适用条件
标准裁剪 IS	PPO [26]、GRPO [28]、DAPO [36]	都基于优势加权策略优化，并以裁剪限制更新。	UP 仅在负优势分支保留裁剪，正优势分支改为自锚定 log-policy 梯度。标准方法更保守，UP 追求更强正向强化。
裁剪边界/信赖域改造	BandPO [15]、SAPO [8]、GMPO [40]、DPPO [23]	都试图改善更新效率和稳定性。	本文声称这些方法保留 ${\pi }_{\mathrm{old}}$ 分母；UP 则在正分支绕开该分母。须以各原文精确公式验证这种概括。
序列级重要性采样	GSPO [41]、长度相关方法 [17,21]	都关注长序列 token 级比率的方差或长度偏差。	UP-GSPO 对正优势使用长度归一化 REINFORCE 型梯度，负优势保留 GSPO 序列级裁剪。
非对称优化	ASPO [32]、W-REINFORCE [43]、TOPR [24]	都认识到正负反馈可能需要不同处理；图 6 中 ASPO/W-REINFORCE 也避免熵坍塌。	UP 的具体差异是 ${\pi }_{\theta }/\mathrm{sg}({\pi }_{\theta })$ 自锚定正分支和 Cap 叙事。优势/权重/负分支细节需回到原论文才能作严格优劣判断。
REINFORCE 风格优化	REINFORCE [33]、REINFORCE++ [11]、RLOO [1]	正分支梯度的局部形式与 $\hat{A}\nabla \log {\pi }_{\theta }$ 一致。	UP 仍从历史 rollout 取样，并只对正优势采用该形式；因此它不是简单的整体 on-policy REINFORCE 替代。
MoE/模型稳定路线	Ma et al. [20] 等	都涉及训练稳定性。	UP 从目标函数与 IS 比率角度处理问题，未专门处理路由器、专家负载或系统层面稳定性。

值得注意的研究人员/团队的证据边界与 Q13 相同：本文能确认 Schulman 团队的 TRPO/PPO、DeepSeekMath/GRPO 团队、DAPO 团队、GSPO/SAPO 团队、ASPO 团队、W-REINFORCE 团队以及本文团队都在相邻路线发表工作；仅据此不能对谁“主导”该领域作结论。

Q15

Q15: 如何用三句话总结全文亮点？

A15:

1. 本文把传统裁剪对低历史概率正优势 token 的局部更新限制形式化为 Probability Capacity，并指出仅调大上裁剪仍保留该结构性约束。
2. 本文提出正优势自锚定、负优势保守裁剪的 UP 目标，使正分支获得 REINFORCE 型梯度而不承受传统 IS 比率爆炸或上裁剪归零。
3. 在论文报告的多种数学、MoE 和视觉几何实验中，UP 通常提升准确率并维持可接受的 KL/梯度代理指标，但其离策略理论、统计稳健性和“通用性”仍需更严格验证。

Q16

Q16: 如何不带任何预设立场、客观理性、辩证地评价这个工作？

A16: 客观而言，这项工作提出了一个简洁且有洞察力的优化重构：它准确抓住了传统正向裁剪会将绝对更新预算与历史概率绑定这一现象，并以合理的非对称设计把“鼓励已验证的好轨迹”和“限制错误轨迹的过强惩罚”区分开来。论文不仅给出公式，也提供针对 self-anchor 与正负非对称性的消融，以及跨三类 GxPO 实例的正向实验，这使其超出纯粹的启发式提案。

但其证据强度应被准确定位：目前最可靠的结论是，UP 在报告的具体 RLVR 配置中是一个有效的经验增强方法；“UP 等价于 REINFORCE”只能在局部梯度形式上理解，不能忽略历史策略采样造成的离策略分布问题。熵、KL 和梯度范数为机制解释提供线索，尚非充分因果证明；缺少多 seed 统计、成本、奖励噪声、离策略陈旧度和更广任务的实验，也限制了稳定性和普适性主张。

因此，本文应被看作对 LLM 推理 RL 中非对称策略优化的一项有价值推进：方法新颖、实证有希望、工程接口清晰；但其理论完备性、稳健性边界和普适性仍是开放问题。最合理的态度既不是将其视为已经解决探索—稳定性困境的最终答案，也不应因其缺少完整理论而忽视其可检验、可复用的核心思想。

---

第三阶段：提出并回答关键问题

Q1

Q1: UP 的正优势自锚定梯度究竟是在“消除重要性采样不稳定性”，还是在以偏差换取更强的正向更新？

A1: 更严谨的回答是：它明确消除了正分支中显式 IS 比率乘子带来的梯度放大，但并未自动消除历史样本与当前策略不一致带来的离策略问题。

Eq. (13) 对每条已采样轨迹产生 $\hat{A}\nabla \log {\pi }_{\theta }$ 形式的梯度；与 Eq. (8) 相比，确实不再有 $r_{i,t}$。这解释了为何图 5 中“保留 ${\pi }_{\mathrm{old}}$ 分母且取消上裁剪”的方案会失稳，而 UP-DAPO 未观察到同类爆炸。

然而，Eq. (13) 的样本期望仍由 ${\pi }_{\mathrm{old}}$ 给出。传统 IS 正是为了将历史策略的样本分布校正到当前策略目标；去除该权重意味着优化方向一般不再是当前策略期望回报梯度的无偏估计。因此，UP 更像是一个刻意选择的、由历史正样本驱动的强化 surrogate。这个选择可能非常有效，尤其当样本不太陈旧、正奖励可靠且目标是快速巩固罕见成功路径时；但当数据陈旧、优势噪声高或策略已显著变化时，偏差可能成为风险。

未来应给出“陈旧度—偏差—性能”的曲线，而非只展示一个训练配置的成功结果。

Q2

Q2: 更高 entropy 和更高 Best@32 是否真正证明了 UP 提升了“有用探索”？

A2: 不足以单独证明，但它们是正向证据。

熵描述策略分布的分散程度；Best@32 描述 32 次采样中至少找到一次正确答案的能力。二者同时提升，与“模型保留更多候选推理路径并更可能发现正确路径”的叙事一致。尤其 Best@32 是比熵更接近任务目标的指标。

但有用探索必须同时满足两个条件：候选空间更广，且新增候选具有足够高的价值。熵高可能是有效多样性，也可能是策略变得不确定；Best@32 的小幅提升可能来自少数题、解码随机性或答案后处理。要建立更强结论，应报告：

• 正确轨迹的去重数量、语义多样性和覆盖率；
• 同一题上正确与错误候选的比例；
• token/序列 Cap 与后续正确率之间的关系；
• 受控熵正则基线：若只把熵提高到同等水平，是否仍不如 UP；
• 多 seed 下的 Best@k 曲线和置信区间。

因此，当前证据支持“UP 与更高探索代理指标和更优采样上界相关”，但未完成“UP 通过有用探索而导致性能提升”的严格因果证明。

Q3

Q3: 正负优势的硬切换是否是最合理的非对称性，还是可能引入对奖励噪声的脆弱性？

A3: 硬切换是一个清晰、易实现且与作者稳定性消融相匹配的设计，但它很可能不是唯一或总是最合理的方案。

其合理性在于：负优势上的无界更新在图 5 中迅速失稳，表明至少在作者设置中，负向大步更新危险；而正优势路径被认为是稀缺资源，值得避免过早裁剪。由此采用“正向开放、负向受限”的规则具有直观性。

但优势符号并不是可靠的真值标签。若 $\hat{A}$ 经过组归一化，则一个相对较好的错误答案可为正；反之，一个绝对正确但组内相对较差的轨迹也可能不为正。硬阈值还会忽略优势幅度、验证器置信度、策略陈旧度和轨迹长度：非常小的正优势与高度可信的巨大正优势得到同样“无界”待遇。

更稳健的方向是把二元路由替换为置信度感知的连续门控，例如根据 $|\hat{A}|$、奖励验证置信度、${\pi }_{\mathrm{old}}$ 与 ${\pi }_{\theta }$ 的距离、token 熵、重复采样一致性等动态调节正向更新强度。其验证不应只看平均准确率，还应看噪声奖励下的性能衰减、奖励投机率、训练崩溃率和跨域泛化。