DiffusionNFT: Online Diffusion Reinforcement with Forward Process

arXiv: 2509.16117 · ICLR 2026 Oral

深度学习研究文献解读报告

论文标题：DIFFUSIONNFT: ONLINE DIFFUSION REINFORCEMENT WITH FORWARD PROCESS 作者：Kaiwen Zheng, Huayu Chen, Haotian Ye, Haoxiang Wang, Qinsheng Zhang, Kai Jiang, Hang Su, Stefano Ermon, Jun Zhu, Ming-Yu Liu 机构：清华大学 (Tsinghua University)、英伟达 (NVIDIA)、斯坦福大学 (Stanford University) 发表会议：ICLR 2026 (Conference Paper)

---

第一阶段：论文框架总结

1. 论文标题和摘要

• 研究对象：基于流匹配（Flow Matching）与连续扩散模型（Diffusion Models）的在线强化学习（Online Reinforcement Learning, Online RL）后训练（Post-training）框架。
• 核心问题：现有扩散模型在线强化学习（如基于 GRPO 的方法）普遍依赖将反向采样过程离散化为多步马尔可夫决策过程（MDP）来计算显式似然（Likelihood）。这种做法面临三大致命瓶颈：

1. 前向不一致性（Forward Inconsistency）：过度专注于反向采样，破坏了前向扩散过程的概率密度轨迹，导致模型有退化为级联高斯噪声的风险。
2. 求解器限制（Solver Restrictions）：数据收集过程强绑定于一阶 SDE 采样器，无法发挥高阶 ODE 求解器（如 DPM-Solver）的高效采样优势。
3. 与无分类器指导（Classifier-Free Guidance, CFG）的耦合极其繁琐：通常需要同时维护和优化条件与无条件两个模型。

• 采用的方法：提出了 Diffusion Negative-aware FineTuning (DiffusionNFT)。该方法打破了传统策略梯度（Policy Gradient）的范式，直接在**前向扩散过程（Forward Process）**上通过流匹配目标开展策略优化。它将生成样本依据奖励信号切分为隐式的“正向”与“负向”策略，定义出强化指导方向（Reinforcement Guidance），并将强化信号自然地融入到监督学习（Supervised Learning）目标中。
• 主要发现与结论：
• DiffusionNFT 解耦了数据采样与策略训练，支持任意黑盒求解器，无需存储采样轨迹（仅需生成的最终干净图像 $x_0$ ），且完全无需计算模型似然。
• 在单奖励任务中，DiffusionNFT 的训练效率比 FlowGRPO 提升了 3 到 25 倍。例如，在 GenEval 评估中，DiffusionNFT 仅用 1k 个 Step 便将分数从 0.24 提升至 0.98；而 FlowGRPO 需要超过 5k 个 Step 且必须配合 CFG 才能达到 0.95。
• 在完全不使用 CFG 的前提下，联合优化多个奖励模型使 SD3.5-Medium (2.5B) 在所有基准测试中全面超越了使用 CFG 的更大模型（如 8B 的 SD3.5-L 和 12B 的 FLUX.1-Dev）。

---

2. 引言

• 研究背景：在线强化学习（如 PPO、GRPO）是大语言模型（LLM）对齐和推理能力突破（如 DeepSeek-R1、GPT-4）的核心引擎。然而，将这一成功范式直接迁移至视觉扩散模型极其困难。
• 研究动机：策略梯度算法的核心假设是模型似然可精确计算。自回归语言模型天然满足这一点，但连续扩散模型的边际数据似然不可积，只能通过昂贵的概率 ODE 或 SDE 的变分下界进行估计。
• 前人工作的不足：
• 近期工作（如 DPOK、FlowGRPO、DanceGRPO）将反向去噪过程离散化，将扩散采样视作多步 MDP，使相邻步骤之间的转移变为可计算的高斯分布。
• 这种“反向 MDP”构建带来了严重隐患：

1. 缺乏前向一致性：独立优化反向转移核破坏了扩散模型底层概率密度对 Fokker-Planck 方程的遵循；
2. 求解器绑死一阶 SDE：无法使用先进的高阶 ODE 采样技术；
3. CFG 集成复杂度高：训练和推理逻辑过于繁性。

• 研究目标与预期贡献：
• 提出疑问：“既然扩散策略对应唯一的正向（加噪）过程和多种反向（去噪）过程，强化学习能否直接在前向过程上完成？”
• 目标是建立一种前向过程强化学习范式（DiffusionNFT），实现采样与训练解耦、似然免计算、轨迹免存储、求解器自由以及天然 CFG-Free 的高效在线 RL 训练。

---

3. 正文部分

2. 背景知识（Background）

• 扩散与流匹配模型：
• 前向加噪过程的闭形式转移核为： ${\pi }_{t|0}(x_t|x_0)=\mathcal{N}({\alpha }_t{x}_0,{\sigma }_t^{2}I)$ 重参数化形式为： $x_t={\alpha }_t{x}_0+{\sigma }_tϵ,ϵ\sim \mathcal{N}(0,I)$
• 速度参数化 $v_{\theta }(x_t,t)$ 预测轨迹切线，训练目标为最小化流匹配损失： ${\mathbb{E}}_{t,x_0\sim {\pi }_0,ϵ\sim \mathcal{N}(0,I)}\left[w(t)\Vert v_{\theta }(x_t,t)-v{\Vert }_2^2\right]$ 其中目标速度定义为 $v={\dot{\alpha }}_t{x}_0+{\dot{\sigma }}_tϵ$。整流流（Rectified Flow）是其特例（ ${\alpha }_t=1-t,{\sigma }_t=t,v=ϵ-x_0$ ）。
• 扩散模型的策略梯度算法：
• 为应用 GRPO，FlowGRPO 利用速度参数化下的 SDE 形式引入随机性，导出一阶 Euler 离散化后的高斯转移核 ${\pi }_{\theta }(x_{t-\Delta t}|x_t)$，从而利用似然估计实施策略梯度。

3. 基于负采样感知的正向过程扩散强化学习（Diffusion Reinforcement via Negative-aware FineTuning）

3.1 问题设定（Problem Setup）

• 数据切分与最优性概率：预训练策略为 ${\pi }^{\text{old}}$，对于 Prompt $c$，生成 $K$ 张图像 $x_0^{1:K}$ 并获得标量奖励 $r(x_0,c)\in [0,1]$（解释为最优性概率 $p(o=1|x_0,c)$ ）。
• 依据奖励将总体生成数据隐式切分为正向数据集 $D^{+}$ 和负向数据集 $D^{-}$，对应底层分布： ${\pi }^{+}(x_0|c)=\frac{r(x_0,c)}{p_{{\pi }^{\text{old}}}(o=1|c)}{\pi }^{\text{old}}(x_0|c)$ ${\pi }^{-}(x_0|c)=\frac{1-r(x_0,c)}{1-p_{{\pi }^{\text{old}}}(o=1|c)}{\pi }^{\text{old}}(x_0|c)$
• 强化指导（Reinforcement Guidance）：恒有 ${\pi }^{+}\succ {\pi }^{\text{old}}\succ {\pi }^{-}$。作者将目标速度场定义为： $v^{\ast }(x_t,c,t):=v^{\text{old}}(x_t,c,t)+\frac{1}{\beta }\Delta (x_t,c,t)$ 其中 $\Delta (x_t,c,t)$ 即为强化指导向量，$\frac{1}{\beta }$ 为指导强度。

3.2 基于前向过程的负采样感知扩散强化学习

• 定理 3.1（改进方向定理）： 考虑策略三元组 $({\pi }^{+},{\pi }^{-},{\pi }^{\text{old}})$ 对应的扩散模型速度预测器 $v^{+},v^{-},v^{\text{old}}$，其方向差成正比关系： $\Delta :=[1-\alpha (x_t)][v^{\text{old}}(x_t,c,t)-v^{-}(x_t,c,t)]=\alpha (x_t)[v^{+}(x_t,c,t)-v^{\text{old}}(x_t,c,t)]$ 其中 $\alpha (x_t)\in [0,1]$ 为标量系数。
• 定理 3.2（策略优化定理）： 构建如下训练目标（双重隐式策略损失）： $\mathcal{L}(\theta )={\mathbb{E}}_{c,{\pi }^{\text{old}}(x_0|c),t}\left[r\Vert v_{\theta }^{+}(x_t,c,t)-v{\Vert }_2^2+(1-r)\Vert v_{\theta }^{-}(x_t,c,t)-v{\Vert }_2^2\right]$ 其中隐式正向策略 $v_{\theta }^{+}:=(1-\beta )v^{\text{old}}+\beta v_{\theta }$，隐式负向策略 $v_{\theta }^{-}:=(1+\beta )v^{\text{old}}-\beta v_{\theta }$。 在无限数据与模型容量极限下，该目标的全局最优解满足： $v_{{\theta }^{\ast }}(x_t,c,t)=v^{\text{old}}(x_t,c,t)+\frac{2}{\beta }\Delta (x_t,c,t)$
• 核心优势总结：

1. 前向一致性：基于前向加噪损失，保证导出的模型严格遵循 Fokker-Planck 方程。
2. 求解器灵活性：数据采集完全独立，可以采用高阶 ODE 求解器，且仅需保存最终生成图像 $x_0$。
3. 隐式指导集成：无需训练独立的 $\Delta$ 模型或在推理时使用多模型组合采样，直接将强化信号内化写入单一网络 $v_{\theta }$。
4. 免似然估计（Likelihood-Free）：彻底打掉策略梯度方法中对似然近似估计带来的系统性偏差。

3.3 实际工程实现（Practical Implementation）

• 最优性奖励映射：将原始无界奖励 $r^{\text{raw}}$ 在 Prompt 组内归一化，再截断映射至 $[0,1]$ 区间。
• 采样策略软更新（Soft Update）：采用 EMA 方式更新数据收集策略：${\theta }^{\text{old}}\leftarrow {\eta }_i{\theta }^{\text{old}}+(1-{\eta }_i)\theta$。极度纯粹的 On-policy（ $\eta =0$ ）会导致严重训练坍塌，而过度 Off-policy 则收敛缓慢。
• 自适应损失加权（Adaptive Loss Weighting）：替代手动设计的 $w(t)$，引入基于 $x_0$ 预测器的自归一化回归损失： $\frac{\Vert x_{\theta }(x_t,c,t)-x_0{\Vert }_2^2}{\text{sg}(\text{mean}(\text{abs}(x_{\theta }(x_t,c,t)-x_0)))}$
• 完全移除 CFG（CFG-Free Optimization）：训练直接从无 CFG 的条件模型开始，依靠在线 RL 过程自然“学会”CFG 所带来的质量提升。

4. 实验（Experiments）

• 实验设置：基座模型为 SD3.5-Medium (2.5B)，分辨率 $512\times 512$，微调方式为 LoRA ($\alpha =64,r=32$)。
• 关键对比结果：
• 单奖励对比：在 GenEval、OCR、PickScore、HPSv2.1 四项任务中，DiffusionNFT 的训练速度较 FlowGRPO 提升了 3 倍至 25 倍，且最终分数全面超越 FlowGRPO。
• 多奖励联合微调：联合优化 GenEval、OCR、PickScore、CLIPScore 和 HPSv2.1，在不需要 CFG 的情况下，模型性能全面压制了带 CFG 的 SD3.5-Medium 原模型、甚至超越了参数量巨大得多的 SD3.5-Large (8B) 和 FLUX.1-Dev (12B)。
• 消融实验（Ablation Studies）：

1. 负向损失：若去除 $v_{\theta }^{-}$ 的负向损失，强化过程将瞬间发生策略坍塌（Collapse）。
2. 采样器类型：ODE 采样器生成的训练样本显著优于一阶 SDE 采样器，二阶 ODE 表现最佳。
3. 时间加权：高 $t$ 阶段赋予较高权重对稳定流匹配至关重要，自适应加权最为稳健。

---

4. 图片

• 图 1 (Figure 1: Performance of DiffusionNFT)：

• 内容：

• (a) 在 GenEval 任务上与 FlowGRPO 的头对头 GPU 学时-性能对比曲线；

• (b) SD3.5-Medium 经过 DiffusionNFT 多奖励微调后在 8 个基准测试中的柱状图表现，并与原版（带/不带 CFG）及 FLUX.1-Dev 进行对比。

• 作者解读与论证：

• 论证 (a)：DiffusionNFT 仅消耗不到 1k GPU 小时即可达到 0.98 的 GenEval 高分，而 FlowGRPO 耗时超过 5k GPU 小时且需要 CFG 才能达到 0.95，证明了其极其惊人的收敛速度与样本效率（25 倍提升）。

• 论证 (b)：证明了即便完全抛弃 CFG，经过多奖励联合微调的 2.5B 模型也能在各项指标上击败 12B 的 FLUX.1-Dev。

• 结论：DiffusionNFT 能够在不依赖 CFG 的前提下，极速提高生成模型的质量与指令对齐度。

• 图 2 (Figure 2: Comparison between Forward-Process RL and Reverse-Process RL)：

• 内容：展示了传统基于反向过程离散化（GRPO/PPO）与 DiffusionNFT（正向过程）在架构流向上的对比示意图。

• 作者解读与论证：GRPO 需要在去噪的每一步计算概率转移 $\pi (x_{t-1}|x_t)$，依赖一阶 SDE，且需存储整个马尔可夫采样轨迹；而 NFT 直接在前向加噪过程对干净图像 $x_0$ 施加 $v_{\theta }^{+}$ 与 $v_{\theta }^{-}$ 的拟合，支持黑盒求解器，且仅需保存干净图片 $x_0$。

• 结论：从结构上证明了正向过程强化学习在计算复杂度、存储开销和算法解耦上的根本性优越性。

• 图 3 (Figure 3: Improvement Direction)：

• 内容：向量几何示意图，展示了速度预测器 $v^{\text{old}}$、$v^{+}$、$v^{-}$ 以及强化指导向量 $\Delta$ 之间的方向与平行比例关系。

• 作者解读与论证：图形化展示了定理 3.1，即从负向策略 $v^{-}$ 推离 $v^{\text{old}}$ 的方向，与从 $v^{\text{old}}$ 推向正向策略 $v^{+}$ 的方向在切线空间中是完全平行的。

• 结论：验证了利用正负生成样本定义隐式改进方向 $\Delta$ 的数学逻辑完备性。

• 图 4 (Figure 4: DiffusionNFT Architecture / Workflow)：

• 内容：DiffusionNFT 的训练流程图，包含 Prompt 输入、批量采样图片、计算最优性奖励 $r$ 及 $1-r$、对图片实施前向加噪，并在单一网络 $v_{\theta }$ 上通过隐式构建 $v_{\theta }^{+}$ 和 $v_{\theta }^{-}$ 开展双重流匹配损失优化的过程。

• 作者解读与论证：强调了并不需要实际显式训练两个独立的神经网络，而是通过隐式参数化公式（ $(1-\beta )v^{\text{old}}+\beta v_{\theta }$ ），在一个单一网络上完成梯度反向传播。

• 结论：展示了 DiffusionNFT 极简的工程落地能力与代码兼容性。

• 图 5 (Figure 5: Qualitative Comparison)：

• 内容：针对 GenEval、OCR 和 DrawBench 的 Prompt，展示 SD3.5-M、FlowGRPO 以及 DiffusionNFT 生成图片的视觉质量质感对比。

• 作者解读与论证：DiffusionNFT 生成的图像在文本渲染（如 “Street Art Rules”）、复杂多对象组合（如“蓝色比萨与黄色棒球手套”）上呈现出极低的瑕疵率和极高的忠实度，显著优于 FlowGRPO。

• 结论：量化性能的飞跃得到了高保真直观视觉质量的有力支撑。

• 图 6 (Figure 6: Head-to-head comparison on single rewards)：

• 内容：在 OCR、PickScore、HPSv2.1 单一奖励指标上，DiffusionNFT 与 FlowGRPO 的 GPU 训练耗时与得分演进曲线。

• 作者解读与论证：显示 DiffusionNFT 在 OCR 上达到 24 倍效率提升，在 PickScore 上达到 8 倍效率提升，在 HPSv2.1 上达到 3 倍效率提升，且最终收敛平台期均高于 FlowGRPO。

• 结论：证明了该算法在不同奖励函数类型（规则类与模型类）下的普适高效性。

• 图 7 - 图 10 (Ablation Figures)：

• 内容：分别展示了采样器类型（SDE vs 1st-ODE vs 2nd-ODE）、软更新策略 ${\eta }_i$、时间加权函数 $w(t)$ 以及指导强度 $\beta$ 对收敛曲线的影响。

• 作者解读与论证：

• 图 7：ODE 采样器由于轨迹平滑、无随机高斯扰动注入，提供了更高质量的训练信号；

• 图 8：On-policy（ $\eta =0$ ）初期极快但随后瞬间崩溃，证明了适度 EMA 软更新对算法稳定性的决定性作用；

• 图 9：高 $t$ 阶段（大噪声）的流匹配约束对防范生成退化不可或缺；

• 图 10：$\beta$ 在 0.1 到 1.0 之间表现最为稳健。

• 结论：消融实验彻底夯实了 practical implementation 中各项工程设计要素的合理性。

• 图 11 - 图 13 (Appendix Qualitative Results)：

• 内容：附录中大面积呈现的 GenEval、OCR、DrawBench 主观视觉对比图集。

• 作者解读与论证：直观展示了无 CFG 的基座模型在经过 DiffusionNFT 微调后，其细节表达、文本拼写 accuracy 以及空间拓扑关系得到了根本性的修复。

• 结论：补充证实了方法在泛化性与生成质量上的巨大优势。

---

5. 结论

• 研究总结：本工作提出了 DiffusionNFT，这是一种全新范式的扩散模型在线强化学习方法。该方法将策略优化建立在前向加噪过程之上，成功绕过了离散反向过程中的概率似然计算瓶颈。
• 科学与技术意义：打破了过去将自回归 LLM 的策略梯度（PPO/GRPO）机械套用到扩散模型上的思维定式。通过融合流匹配与负采样感知学习（NFT），填补了监督学习（SL）与强化学习（RL）在连续扩散生成领域的理论鸿沟。
• 未来展望与潜在方向：正向过程 RL 范式有望成为跨模态（文本、图像、视频、三维生成）统一、原生 Off-policy、超高效后训练标杆算法。

---

6. 参考文献

1. Chen et al. (2025c): Bridging supervised learning and reinforcement learning in math reasoning.

• 关联性：本文理论思想的源头，率先在 LLM 领域提出了 NFT（Negative-aware FineTuning）范式，本文将其成功推广演进至连续扩散领域。

2. Liu et al. (2025): Flow-GRPO: Training flow matching models via online RL.

• 关联性：本文最直接的竞争与对比基线（Baseline），代表了将 GRPO 强行套用至流匹配反向 SDE 过程的技术路线。

3. Lipman et al. (2022): Flow matching for generative modeling.

• 关联性：本文数学表达的理论基石，提供了速度场预测与连续连续流拟合的基本框架。

4. Ho & Salimans (2022): Classifier-free diffusion guidance.

• 关联性：提出了著名的 CFG 技术。本文通过公式 (3) 将强化指导与 CFG 进行了类比与数学统一，并实现了天然摒弃 CFG 的目标。

5. Black et al. (2023): Training diffusion models with reinforcement learning.

• 关联性：早期将扩散去噪过程建模为多步 MDP 演化并施加 PPO 的开拓性工作，也是本文批判的反向过程似然计算路线的起源。

6. Shao et al. (2024): DeepSeekMath: Pushing the limits of mathematical reasoning in open language models.

• 关联性：提出了 GRPO 算法，本文吸收了其组内奖励归一化（Group Normalization）的思想来计算最优性概率 $r$。

7. Esser et al. (2024): Scaling rectified flow transformers for high-resolution image synthesis.

• 关联性：提出了 SD3.5 架构（Rectified Flow Transformer），本文实验所采用的核心开源基座模型。

---

7. 补充材料

• 附录 A（理论证明）：给出了 Lemma A.1（分布切分）、Lemma A.2（后验切分）、Theorem 3.1（改进方向定理）以及 Theorem 3.2（策略优化定理）的极其严密推导。详细展示了如何通过贝叶斯定理将连续扩散后验分布与最优性概率 $r(x_0,c)$ 结合，并利用速度预测器与后验均值的线性关系导出理想指导向量 $\Delta$。
• 附录 B（理论讨论）：
• 深入探讨了 Flow SDE 的本质，推导出 FlowGRPO 采用的随机 SDE 实际上是对扩散 ODE 额外施加了加性 Langevin 动力学噪声；
• 推导了高阶 Flow ODE 采样器（基于 DPM-Solver 思想）的求解推导；
• 深度揭示了 FlowGRPO 的物理本质：证明了 FlowGRPO 在数学上等价于利用 Stein 恒等式对“奖励反向传播（Reward Backpropagation）”进行无梯度近似估计（Gradient Estimation）。
• 附录 C 与 D（实验细节与扩展结果）：补充了 LoRA 参数、超参数设定（如不同任务下的 $\beta$ 与 $\eta$ 衰减策略）以及大量单奖励与多奖励微调后的扩展定性渲染对比图。

---

第二阶段：专业学术问题回答

Q1: 这篇论文试图解决什么问题？

A1: 这篇论文试图解决连续扩散模型（Diffusion/Flow Models）在进行在线强化学习（Online RL）后训练时，因其边际数据似然（Marginal Data Likelihood）难以精确计算，导致传统策略梯度算法（如 PPO、GRPO）必须依赖繁琐的反向去噪过程离散化（MDP 建模），进而引发前向不一致性、采样器被强绑定于低效一阶 SDE、轨迹存储开销巨大以及**无法优雅融合无分类器指导（CFG）**等根本性困境。

Q2: 这是一个新问题吗？

A2: 不是。将 RL 引入扩散模型以实现生成对齐（Human Preference Alignment）或特定奖励优化是一个既有研究方向。但是，从“反向去噪 MDP 策略梯度”转向“前向扩散流匹配监督化 RL”来彻底破解似然依赖瓶颈，是一个全新的突破性解决视角。

Q3: 这篇论文试图验证什么科学假设？

A3: 本文的核心科学假设是：策略改进（Policy Improvement）的内在逻辑可以转化为对“高奖励（正向）样本分布”与“低奖励（负向）样本分布”之间流场差异（Reinforcement Guidance）的表征；强化学习无需在极其复杂的反向采样轨迹上逐步估算似然，直接在前向加噪（Noising）过程上对正负样本施加流匹配（Flow Matching）双重隐式损失，即可严格逼近最优改进策略。

Q4: 作者为了解决问题/验证假设提出的解决方案是什么？

A4: 作者提出了 Diffusion Negative-aware FineTuning (DiffusionNFT) 算法。该算法：

1. 在在线采样阶段，利用当前策略生成 $K$ 张干净图像 $x_0$，并使用标量奖励映射得到最优性概率 $r\in [0,1]$；
2. 在策略优化阶段，抛弃反向轨迹，直接将 $x_0$ 施加前向加噪得到 $x_t$，并构建由单一网络 $v_{\theta }$ 隐式表达的正向策略 $v_{\theta }^{+}=(1-\beta )v^{\text{old}}+\beta v_{\theta }$ 与负向策略 $v_{\theta }^{-}=(1+\beta )v^{\text{old}}-\beta v_{\theta }$；
3. 最小化加权流匹配损失：$\mathcal{L}(\theta )=\mathbb{E}[r\Vert v_{\theta }^{+}-v{\Vert }_2^2+(1-r)\Vert v_{\theta }^{-}-v{\Vert }_2^2]$，使策略沿着隐式强化指导向量 $\Delta$ 进行梯度演进。

Q5: 这个解决方案的关键点、难点、创新点在哪？

A5:

• 关键点：引入隐式参数化技巧（Implicit Parameterization），将需要两个独立网络表示的 $v^{+}$ 与 $v^{-}$ 合并映射到单一可训练参数 $\theta$ 上，从而避免了多模型交替训练的巨大开销。
• 难点：在连续概率流的后验切分（Posterior Split）推导中，证明基于监督学习流匹配拟合的稳定极小值点，在数学上完全等价于精确追加了 $2/\beta \cdot \Delta$ 的策略提升方向（Theorem 3.2）。
• 创新点：

1. 彻底实现了前向过程 RL（Forward-Process RL），做到采样与训练完全解耦（Off-policy）；
2. 实现了求解器自由（Solver Flexibility），可直接采用高阶 ODE 求解器采样；
3. 免似然计算（Likelihood-Free） 且 轨迹免存储（Trajectory-Free）；
4. 实现了原生无 CFG 化（CFG-Free），大幅降低了推理成本。

Q6: 论文中的实验是如何进行设计的？

A6: 论文实验设计紧密围绕“效率”与“质量”两大维度展开，包含三大部分：

1. 单奖励头对头对比（Head-to-head Comparison）：在 GenEval、OCR、PickScore、HPSv2.1 上，将 DiffusionNFT 与目前最顶尖的 FlowGRPO 在相同的基座（SD3.5-Medium）、相同的 GPU 资源下进行收敛速度和峰值性能的直接比拼。
2. 多奖励联合优化（Multi-Reward Joint Training）：以完全抛弃 CFG 的 SD3.5-Medium 为起点，顺次优化 5 个不同性质的奖励模型，并在 Out-of-domain 指标（Aesthetics, ImageReward, UnifiedReward）上测试泛化能力，同时与更大参数量的模型（SD3.5-Large, FLUX.1-Dev）横向对比。
3. 消融实验（Ablation Studies）：精细化拆解负采样损失必要性、采样器类型（SDE vs ODE）、采样策略 EMA 软更新系数 $\eta$、时间加权 $w(t)$ 及指导强度 $\beta$ 的敏感度。

Q7: 作者使用了哪些方法/数据/分析来支撑他们的结论？

A7:

• 评估指标：规则类指标（GenEval 对象生成准确率、OCR 字符渲染准确率）与模型类指标（PickScore、ClipScore、HPSv2.1、Aesthetics、ImageReward、UnifiedReward）。
• 数据集：Pick-a-Pic 训练集、DrawBench 测试集、FlowGRPO 官方提供的 GenEval/OCR 训练与测试集。
• 分析手段：GPU 学时-性能收敛曲线（证明 3-25 倍效率）、定理严密推导（附录 A）、反向 SDE 与 Stein 恒等式流场等价性分析（附录 B）、消融实验曲线图以及详尽的生成样本定性排版对比。

Q8: 论文中的实验和结果是否很好地支持了需要验证的科学假设？

A8: 是的，提供了极具说服力的支持。实验不仅证明了在前向过程上进行流匹配拟合可以极速提升模型的奖励得分（如 GenEval 1k 步达到 0.98），而且消融实验明确验证了“若移除负向采样损失（即只保留正向拟合 RFT），模型将瞬间发生策略坍塌”。这强有力地支撑了“负向指导向量对连续扩散空间策略改进具有决定性作用”的假设。

Q9: 这篇论文的具体贡献点是什么？

A9:

1. 理论贡献：提出了连续扩散模型前向过程强化学习的数学框架，证明了通过隐式正负双重流匹配损失可以精确拟合策略改进方向（Reinforcement Guidance）。
2. 算法贡献：设计了 DiffusionNFT 算法，解耦了采样与训练，消除了似然估计偏差，摒弃了轨迹存储，且天然兼容高阶 ODE 求解器与无 CFG 部署。
3. 工程/实用贡献：实现了高达 25 倍的在线 RL 训练加速；单模型（2.5B）在完全无 CFG 情况下，综合视觉质量与图文对齐度全面超越了 8B/12B 级的使用 CFG 的业界龙头模型。

Q10: 下一步可以深入开展哪些工作？

A10:

1. 扩展至视频与三维生成模态：视频扩散模型生成轨迹极长（如几十帧），反向 GRPO 的显存和计算负担指数级增加，DiffusionNFT 仅需干净视频帧的特性在视频 RL 对齐中具有巨大的潜力。
2. 多模态大模型（MLLM）统一架构下的端到端 RL：将 DiffusionNFT 与自回归 LLM 的在线 RL 结合，构建统一正向 loss 的多模态图文交互智能体。
3. 自博弈与隐式奖励函数演进：结合判别器（Discriminator）或生成式 Self-Play，摆脱对外部固定奖励模型（Reward Model）过拟合的风险。

Q11: 这篇论文还存在什么问题/漏洞/缺点/考虑不周/局限性/可以改进的地方？

A11:

1. 对奖励函数过拟合（Reward Hacking）的隐患：单奖励实验中收敛极快，但缺乏对奖励过拟合机制的深度论述。
2. 严重依赖 EMA 软更新（Soft Update）：消融实验显示纯 On-policy（ $\eta =0$ ）会导致严重崩塌。算法虽然声明是 Off-policy，但实际上对数据生成策略与训练策略之间的分布偏移（Distribution Shift）非常敏感，参数 $\eta$ 的调优需要经验成本。
3. 奖励映射（Reward Mapping）依赖组内经验归一化：最优性概率 $r$ 依赖组内均值和全局标准差的截断处理，若 Group Size（$G=24$）较小，估计的 $r$ 噪声较大，可能会破坏方向向量 $\Delta$ 的准确性。

Q12: 文中提到了哪些重要的概念/理论/名词？请做简要解释。

A12:

• 流匹配（Flow Matching）：一种连续时间生成模型训练范式，通过直接回归向量场（Vector Field / Velocity Predictor $v_{\theta }$）来学习将先验高斯分布平滑推移至数据分布的概率流。
• 无分类器指导（Classifier-Free Guidance, CFG）：在扩散模型推理时，通过线性组合条件预测向量与无条件预测向量（ $v_{\text{final}}=v_{\text{uncond}}+s(v_{\text{cond}}-v_{\text{uncond}})$ ）来提升图像与 Prompt 匹配度的外挂式采样技术。
• 负采样感知精调（Negative-aware FineTuning, NFT）：一种将负向反馈（低质量生成）与正向反馈同时引入监督学习目标的 RL 范式，最初用于语言模型逻辑推理，本文将其拓展至连续流场。
• 前向不一致性（Forward Inconsistency）：指仅优化反向去噪步的转移概率时，忽略了中间状态 $x_t$ 与 $x_0$ 之间前向加噪过程概率密度的耦合约束，导致模型拟合的连续轨线偏离物理扩散规律。
• Fokker-Planck 方程：描述随机动力学系统中概率密度函数随时间演化的偏微分方程，是连续扩散模型前向与反向过程概率守恒的数学基石。

Q13: 与这篇论文相关的问题有哪些相关研究？它们是如何分类的？在这个领域中有哪些值得注意的研究人员？

A13:

• 相关研究分类：
• 基于反向 MDP 的策略梯度类：DPOK (Fan et al.), Diffusion-PPO (Black et al.), FlowGRPO (Liu et al.), DanceGRPO (Xue et al.), MixGRPO (Li et al.)。
• 基于直接偏好优化（DPO/Divergence）类：Diffusion-DPO (Wallace et al.), SPO (Liang et al.), DMPO (Li et al.), DDO (Zheng et al.)。
• 基于奖励梯度/反向传播类：ReFL (Xu et al.), Direct Fine-Tuning (Clark et al.)。
• 值得注意的研究人员：
• Jun Zhu (朱军) & Hang Su (苏航) (清华大学)：在扩散模型求解器（DPM-Solver 系列）、概率流以及算法对齐方面做出了大量奠基性工作。
• Stefano Ermon (斯坦福大学)：DDIM、Diffusion-DPO 及生成模型表达能力分析的核心学者。
• Ming-Yu Liu (刘洺 H) (NVIDIA)：生成对抗网络（GAN）与前沿扩散生成架构梯度的重要推动者。

Q14: 与这篇论文相关的解决方案相似的有哪些相关研究？它们是如何分类的？在这个领域中有哪些值得注意的研究人员？

A14:

• 相关研究分类：
• 无似然 / 隐式指导类（Guidance/Energy-based）：Energy-Guided Diffusion (Lu et al.), Inference-Time Reinforcement Guidance (Jin et al.), Diffusion Guidance Policy (Frans et al.)。
• 奖励加权回归与排斥学习（RWR / Rejection Sampling）：Reward-Weighted Regression (Lee et al.), RFT in LLMs (Xiong et al.), NFT (Chen et al., 2025c)。
• 无 CFG 蒸馏与结构化对齐：DMD (Yin et al.), Guidance-free Visual Generation (Chen et al., 2025a/b)。
• 值得注意的研究人员：
• Cheng Lu (路成)：DPM-Solver 开发者，在能量指导与流匹配优化领域成果丰硕。
• Tianwei Yin：DMD (Distribution Matching Distillation) 第一作者，探索流拟合与生成模型蒸馏。

Q15: 如何用三句话总结全文亮点？

A15:

1. 打破范式：首次将扩散模型的在线强化学习从复杂繁琐的“反向去噪 MDP 策略梯度”重构为极其高效简洁的“前向加噪流匹配拟合”。
2. 极速高效：实现了解耦采样与训练、免似然计算、轨迹免存储以及高阶 ODE 求解器支持，比 FlowGRPO 获得高达 25 倍的训练加速。
3. 性能越级：彻底摆脱了复杂的无分类器指导（CFG），仅凭 2.5B 参数量的单模型在多维度奖励对齐上全面超越了 8B 和 12B 级的顶尖基线模型。

Q16: 如何不带任何预设立场、客观理性、辩证的评价这个工作？

A16: 客观而言，这项工作是连续生成模型强化学习领域的一次里程碑式的技术路线拨乱反正。它深刻透析了扩散模型与自回归语言模型的本质物理差异，指出了强行将基于离散 Token 似然的策略梯度（如 GRPO）套用到连续扩散去噪链上的根本弊端，并巧妙利用流匹配的几何性质将 RL 转化为隐式正负对立的监督学习。其理论推导严密、工程效果惊人（25 倍加速）。 然而，辩证来看，该工作并非毫无瑕疵： 首先，它在很大程度上依赖组内相对奖励到最优性概率 $r\in [0,1]$ 的经验映射，数学上对极端奖励分布的鲁棒性仍受限；其次，消融实验揭示其必须依赖 EMA 软更新机制来维持训练稳定，这表明其“纯 Off-policy”的性质在面对较大策略分布偏移（Distribution Shift）时仍存在流场撕裂的风险；最后，其成功高度依赖于高精度的外部奖励模型（Reward Model），对强化学习普遍存在的奖励过拟合（Reward Hacking）现象缺乏深层次的理论防御机制。

---

第三阶段：提出并回答关键问题

Q1: [教授提问] 在消融实验中，作者发现如果不添加负向策略损失（即令 $v_{\theta }^{-}$ 项失效，退化为仅对 $r$ 加权的正向 Rejection FineTuning, RFT），扩散模型的奖励演进会瞬间发生严重坍塌（Collapse）。请从流匹配（Flow Matching）的切线向量场与概率分布几何的角度，深度剖析这一现象背后的底层物理机制是什么？为什么这种坍塌在自回归 LLM 中不明显，而在连续扩散模型中却极其致命？

A1: 这是一个极其深刻且触及连续流场生成本质的问题。我们可以从以下三个维度进行底层剖析：

1. 流场切面（Tangent Vector Field）的非局域漂移与高维吸引子坍塌： 在连续流匹配中，速度预测器 $v_{\theta }(x_t,t)$ 拟合的是高维空间中从高斯分布转移到数据分布的向量场。如果我们仅施加正向损失（仅在 $r\approx 1$ 的生成样本上做回归），梯度只会拉近 $v_{\theta }$ 与正样本方向的距离。由于连续神经网络（如 Diffusion Transformer）具有全局光滑流形外推属性，缺乏负向推力（Push-away Force）会导致向量场在其邻域产生严重的“无约束塌陷”。流势能无法在正负样本边界形成陡峭的决策势垒（Potential Barrier），进而导致所有流线在反向采样时全部挤压挤向极少数高度过拟合的局部过拟合模式（Mode Collapse），在图像上表现为色彩饱和度异常、结构扭曲或噪声残留。

2. 自回归 LLM 与连续扩散模型的拓扑空间差异： 在 LLM 中，离散 Token 空间上的策略分布是 Softmax 输出的分类概率向量。仅在正样本上做 RFT（拒答采样微调）时，交叉熵损失（Cross-Entropy Loss）天然具备隐式的归一化分母（Partition Function $\sum \exp (z_k)$）。当增加正 Token 的概率时，Softmax 的分母会自动压低所有未被选中的负 Token 的概率。这种机制赋予了离散 LLM 天然的“负向抑制”属性。 然而，连续扩散模型的流匹配目标 $\Vert v_{\theta }-v{\Vert }_2^2$ 是一个未归一化的最小二乘回归。连续空间中不存在 Softmax 这种天然的全局概率归一化分母。如果不显式引入 $v_{\theta }^{-}$ 项（即定理 3.2 中的隐式负向策略），模型就完全失去了在连续空间中压低低质量区域概率密度的数学约束。

3. 双重隐式损失（Theorem 3.2）对推拉势场的构建： DiffusionNFT 的损失函数 $r\Vert v_{\theta }^{+}-v{\Vert }^2+(1-r)\Vert v_{\theta }^{-}-v{\Vert }^2$ 在数学本质上构建了一个推拉对偶势场（Push-Pull Dual Field）：正向分支将速度场拉向高奖励流线，负向分支将速度场推离低奖励流线。正是这种推拉平衡，才在流空间中精确导出了平移向量 $\frac{2}{\beta }\Delta$，防止了流场的发散或塌陷。

---

Q2: [教授提问] 论文强调 DiffusionNFT 是一种“原生 Off-policy”方法，可以彻底解耦数据采样与策略训练，但在其实际工程实现（Section 3.3）中，作者却必须引入采样策略的 EMA 软更新（${\theta }^{\text{old}}\leftarrow {\eta }_i{\theta }^{\text{old}}+(1-{\eta }_i)\theta$），且消融实验（Figure 8）显示当 $\eta =0$（即纯粹 On-policy）或 $\eta \to 1$（过度 Off-policy）时模型表现均急剧恶化。这是否说明 DiffusionNFT 的“Off-policy”属性存在理论与实际的割裂？其背后的分布偏移（Distribution Shift）极限在哪里？

A2: 你的批判性眼光非常精准，直接击中了该算法在理论假设与实际工程落地之间的核心矛盾。

1. 理论上的 Off-policy 与实际流拟合边界的割裂： 在理论推导（Theorem 3.2）中，公式假设数据来源于 ${\pi }^{\text{old}}$，且神经网络具有无限容量（Unlimited Capacity）与无限数据采样。在此理想假设下，优化损失确能严格导出最优速度场 $v_{{\theta }^{\ast }}=v^{\text{old}}+\frac{2}{\beta }\Delta$。 然而在实际中，神经网络容量有限，且每一轮的 Rollout 样本数极小（如仅 48 组 $\times$ 24 张图像）。如果采用纯粹的 On-policy（$\eta =0$，即每一步都立刻用最新的 $\theta$ 替换 ${\theta }^{\text{old}}$），策略更新过快会导致生成样本分布 ${\pi }^{\text{old}}$ 剧烈剧变。流匹配网络试图在一个**高速漂移的非平稳目标分布（Non-stationary Target Distribution）**上进行拟合，这会导致局部梯度估计严重失效，最终引发流场剧烈震荡和策略崩溃（如 Figure 8 中 $\eta =0$ 时得分骤降）。

2. EMA 软更新的本质：流形上的连续连续延拓约束： 引入 EMA（${\theta }^{\text{old}}$ 软更新）并非否定其 Off-policy 属性，而是为了在工程上控制数据分布 ${\pi }^{\text{old}}$ 与训练策略 ${\pi }_{\theta }$ 之间的 Wasserstein 距离。 连续流匹配对数据分布的支撑集（Support Set）极其敏感。如果采样策略 ${\theta }^{\text{old}}$ 与当前训练策略 $\theta$ 偏差过大（过度 Off-policy，如 $\eta =0.9$），采样出来的干净图像 $x_0$ 落在当前策略 $v_{\theta }$ 无法覆盖的流形边缘，这会导致隐式正向策略 $v_{\theta }^{+}$ 与隐式负向策略 $v_{\theta }^{-}$ 的外推拟合产生巨大误差（即严重的 Distributional Shift 泛化失败），表现为收敛速度极度缓慢。

3. 结论与改进建议： 因此，DiffusionNFT 的 Off-policy 特性是有条件的（Bounded Off-policy）。它允许采样策略与训练策略存在小范围解耦（从而支持黑盒高阶 ODE 求解器采样、无需保存采样轨迹），但无法承受剧烈的分布断层。后续的研究可以通过引入重要性采样加权（Importance Sampling Weights）或流场信赖域约束（Trust Region Constraint, 如类似 PPO 的 KL 散度截断），来扩展其在极端 Off-policy 情况下的稳健边界。

---

Q3: [教授提问] 论文在多奖励微调中展现出了惊人的“无 CFG（CFG-Free）”性能——2.5B 模型在无 CFG 模式下全面超越了使用 CFG 的 8B/12B 模型。作者声称强化指导 $\Delta$ 自然替代了 CFG 的功能。请从流场叠加原理与信息论角度评估：单一网络 $v_{\theta }$ 是否真的能够完备地“吸收”无条件与条件流场之间的全部差值？这种无 CFG 化方案是否存在表达能力上限或潜在盲区？

A3: 这是一个极具洞察力且对实际部署工业化影响深远的问题。我的评估如下：

1. CFG 的流场本质与 Reinforcement Guidance 的数学统一性： 传统的 CFG 在采样时构建速度场： $v_{\text{CFG}}(x_t,c,t)=v(x_t,\varnothing ,t)+s\cdot [v(x_t,c,t)-v(x_t,\varnothing ,t)]$ 其中 $v(x_t,c,t)-v(x_t,\varnothing ,t)$ 实际上是条件分布与无条件分布的对数梯度差（即文本对齐信号方向）。 DiffusionNFT 的公式 (3) 明确指出，优化后的目标速度场为 $v^{\ast }(x_t,c,t)=v^{\text{old}}(x_t,c,t)+\frac{1}{\beta }\Delta (x_t,c,t)$。 其中强化指导向量 $\Delta$ 是基于人类偏好/规则奖励（如 OCR 拼写、GenEval 空间拓扑）计算出的高阶对齐信号。从向量场的角度看，CFG 的文本对齐指导只是强化指导 $\Delta$ 在“文本匹配”这一单一维度上的特例。因此，在线 RL 直接将强化指导内化压入 $v_{\theta }$ 的权重参数中，理论上完全能够涵盖甚至超越传统 CFG 的外挂式推拉效果。

2. 单一网络吸收能力的理论极限与表达容量盲区： 尽管实验证明了 2.5B 模型表现强劲，但将 CFG 完全内化入单一网络必定存在表达能力（Expressive Capacity）的权衡：

• 多样性（Diversity）与流形坍塌的隐患：CFG 的优势在于“动态可调（Dynamic Scale）”，用户可以在推理时自由改变指导强度 $s$ 以平衡图像多样性与文本忠实度。而 DiffusionNFT 强行将固定的偏好方向固化（Hard-code）到了网络权重中，这不可避免地抹平了基座模型原本丰富的多样性流形，使得模型倾向于输出确定性极高、符合奖励模型口味的“标准答案”，降低了生成的多样性熵值。
• 负向 Prompt（Negative Prompts）的表达盲区：传统 CFG 允许用户在推理时临时传入极为复杂的负向文本（如 “blurry, low quality, extra fingers”）。DiffusionNFT 的单网络结构在训练完成后，其流场仅针对训练时见过的奖励模型负面特征进行了推离，面对推理阶段动态指定的未知负向概念，缺乏像 CFG 那样灵活的实时向量对冲能力。

3. 总结： DiffusionNFT 证明了静态场景下 CFG 的冗余性（即大部分常规生成任务不需要双倍计算量的 CFG 采样），但在需要高动态交互、多尺度流形调控以及未见负向概念实时避障的高级生成场景中，完全摒弃 CFG 架构仍然面临着表达能力上限的隐患。