SciForma: Structure-Faithful Generation of Scientific Diagrams

论文元数据

• Authors: Yuxuan Luo, Peng Zhang, Xinjie Zhang, Xun Guo, Zhouhui Lian, Yan Lu
• Publication date: 2026-07-20T00:00:00.000Z
• arXiv: https://arxiv.org/abs/2607.18091
• PDF: https://arxiv.org/pdf/2607.18091
• Project: 未提供
• Code: 未提供
• 本次阅读输入： 文本回退 + 已定位图像

---

论文标题：SciForma：面向科学方法图的结构保真生成

阅读范围与证据边界

• 输入材料：本文解读基于论文的完整 PDF 文本提取结果，覆盖主文、附录、表格文字、图注与参考文献；但这是文本回退（text fallback）输入，并非直接查看原始 PDF 的视觉内容。
• 不可见范围：我没有直接检查 PDF 页面布局、颜色、线条与曲线的视觉几何、模块空间关系、图中字体渲染、子图细节，或任何未被提取文本与 caption 保留的图表信息。因此，下文不会将图注或作者叙述表述为已完成的视觉观察。
• 证据分层：“作者主张”指论文的解释和结论；“论文直接证据”限定为本文报告的表格数字、实验设置、公式、图注和附录文字；“分析者判断”是基于这些材料对因果解释、泛化性、复现性与迁移价值的审计，不等同于实验事实。
• **材料缺口：**虽然附录文字被提取，但部分复杂公式、图表空间结构和视觉案例本身不可核验；对定性比较、颜色风格、局部视觉修复质量等结论，只能评价作者报告与图注所支持的程度，不能确认其视觉真实性。
• **外部验证边界：**本文未独立运行代码、复现实验、检查数据集、调用评测模型或审计 GitHub 实现。因此，“超过”“逼近”“验证”等表述均首先是作者在其评测协议下的报告，而非独立复现结论。

1. 一页速览：值不值得看

维度	结论
问题	科学方法图生成不能只追求“像图”，而必须同时保证模块、箭头方向/连接、文字标注均正确；任一关键错误都可能改变研究逻辑。该问题对自动论文插图、科研代理与高保真图像生成都很实际。
一句话方法	将结构保真拆为 Component、Arrow、Text 三轴，以结构清单（structural inventory）逐轴核验；再用共享正样本、轴锚定负样本和合取式多路偏好目标 M-DPO，把梯度集中到当前最薄弱的结构轴。
真正新意	不是仅把多个奖励相加，而是把“所有轴都必须合格”写进偏好损失：$L_{\mathrm{M}\text{-}\mathrm{DPO}}=\log (1+{\sum }_d\exp (-\beta {\Delta }_d))$。配合“同一 winner + 各轴 loser”的构造，避免独立多目标 DPO 的赢家冲突。数据、两阶段 SFT、局部编辑环路则主要是为该核心目标服务的系统组合。
关键结果	在作者的 GPT-5.4 评测下，SciForma-Base 将 FLUX.2-klein-base-9B 从 33.87 提升到 67.59；M-DPO 后为 69.51，编辑闭环后为 72.40。M-DPO 相对 Base 的增益为平均 $+1.92$、Arrow $+1.82$、Text $+3.16$。在 AIBench 上，SciForma-9B 报告 70.29，略高于原始人工图 70.09。
可信度	**中等。**方法机制与逐轴消融比较完整，且有第二个 VLM 复评分、重复评测稳定性和用户研究；但核心训练标签、主评测、编辑 critic 都重度依赖 VLM，数据与基准源于相近的 arXiv 图源，且缺少真正独立的人类结构正确性大规模验证。
相关性	对 Diffusion 后训练 / 偏好优化 / 可验证奖励高度相关；对传统 RLHF 的直接贡献在于展示了：当目标是不可补偿的多约束正确性时，标量奖励与均值多目标损失可能不足。与 VLM 评估、生成式 UI/文档图、结构化图像编辑也直接相关。
建议	**精读。**若关注 Diffusion 对齐、细粒度 reward、可验证生成或科研图生成，M-DPO 的“共享赢家 + 约束性多负样本”值得深入复用；若只关心通用文生图质量，则其结论不应外推。

Figure 1｜第 1 页。 Fig. 1. Diverse scientific methodology diagrams generated by SciForma. Our framework ensures strict structural fidelity, enables precise synthesis of complex topologies, dense block layouts, and accurate textual annotations across various academic domains. 图像按 caption/版面候选定位并从原 PDF 页面渲染；本报告的分析性结论仍以正文与 caption 为依据，未将未执行的视觉模型审阅伪装为视觉证据。

2. 方法论拆解

2.1 问题与已有路线的缺口

作者针对的不是一般图像美学，而是“科学方法图中的语义结构是否可用”。一张图即使模块造型自然、配色好看，只要箭头反向、关键连接丢失或公式文字不可读，就可能传达错误的方法逻辑。因此本文提出一个关键前提：

**结构正确性是合取型、不可补偿的。**Component、Arrow、Text 任一轴出现关键错误，其他轴的优势不能抵消它。

论文认为现有路线有三个缺口：

1. **仅 SFT 的缺口：**流匹配 SFT 能学习方法图的外观分布、布局和文本样式，但优化目标并不直接要求每个模块、连接和标签逐项正确。作者将其描述为“能生成合理布局，但仍残留结构错误”。

2. **标量奖励/标量偏好的缺口：**普通 DPO、GDRO、GRPO 或多奖励聚合，最终都将不同错误折叠为一个标量。若 Component 和 Text 得分高、Arrow 出现关键错误，平均分仍可能不低，训练信号也不一定会优先修复箭头。

3. **独立多轴优化的缺口：**若每个轴选择不同的最佳样本作为 winner，则多个偏好方向可能冲突。作者的消融显示，DPO (Pareto) 虽有逐轴监督，但 Text 增益弱于其 M-DPO 版本；不过这一结果只说明其具体构造下存在优化困难，尚不能证明独立赢家策略一般必然失败。

理解本文所需的已有路线可压缩为四类：

• **科学图代码生成：**TikZ、SVG、Mermaid 等路线提供精确控制，但作者认为自由布局、复杂结构和渲染鲁棒性受限。
• **图像式科学图生成：**更具视觉表达力，但通常难以保证文字、连接关系与密集拓扑。
• **Diffusion 偏好优化：**将 DPO/排序偏好迁移到 flow matching；本文沿用这一范式，但将样本比较从单一好坏扩展为按结构失败轴挖掘的多负样本对比。
• **多维偏好优化：**CaPO、MCDPO 等面向多属性自然图像；本文的差异主张是，科学图的三轴更接近独立且必须同时满足的约束，而非可平滑权衡的审美属性。

2.2 核心机制与流程

SciForma 是一个“数据—SFT—偏好后训练—验证式编辑”的四段系统。

A. 用结构清单把图像质量离散化

给定文本 prompt 与参考图像，VLM 抽取结构清单 JSON，包含：

• **Component（C）：**模块/形状/实体，以及位置或结构描述；
• **Arrow（A）：**源节点、目标节点与连线语义；
• **Text（T）：**文字、标签、公式等字面内容。

每个轴的分数由错误加权计算：

$$s_d=\max \left(1-\frac{{\sum }_e{w}_e}{n_d},0\right)$$

其中，$d$ 是 C/A/T 三个轴之一，$n_d$ 是该轴应有元素数，$w_e=1.0$ 表示缺失、严重错误等 critical error，$w_e=0.5$ 表示存在但错误、重复等 moderate error。

**作用：**它将“整体是否像参考图”转成逐项缺失/错误检查，允许定位失败类型，也为后续构造偏好对提供轴标签。

**必要假设：**结构清单本身必须准确，VLM 也必须能稳定判别参考图与生成图的差异。作者以参考图自检近乎满分、两轮评测差异较小、Qwen3-VL 复评分排名高度一致来支持这一点；但这些检查不能完全排除同类 VLM 对相同图源、提示模板或错误模式的共同偏差。

B. 两阶段 SFT 建立生成与局部编辑能力

底座为 FLUX.2-klein-base-9B，采用 flow-matching Diffusion Transformer，不增加专用任务头。

• **阶段 1：**在 656K 生成对上，以约 768 px 分辨率做结构适配，学习布局、连接性与文字渲染。
• **阶段 2：**在约 244K 高质量生成对和 70K 编辑三元组上，以约 1024 px 联合训练生成与编辑。编辑时，源图和目标图的 latent 在序列维拼接，使用不同 RoPE 时间偏移，仅监督目标 token。

数据集 SciFormaData-700K 来自 593K 篇 arXiv LaTeX 源，先提取约 180 万候选方法图，经过双 VLM 共识过滤与 pHash 去重，保留 656K 生成样本和 70K 局部编辑三元组。训练数据与 SciFormaBench-2K 来自同一大规模源池，作者称通过去重和划分避免重叠；但仅凭论文文字，尚不足以判断是否完全避免模板、作者、领域风格或近重复结构带来的分布泄漏。

C. M-DPO：以“最差轴”为主的合取偏好优化

对每个 prompt，作者从 SciForma-Base rollout $K=12$ 个候选图像，使用 Qwen3-VL 沿 C/A/T 打分：

• 选总体最优候选作为所有轴共享的正样本 $y^{+}$；
• 对每个轴 $d$，选一个在该轴较差、但其他轴仍有竞争力的负样本 $y_d^{-}$；
• 若该 prompt 在某个轴没有足够候选差异，则不将该轴纳入损失。

对轴 $d$ 的偏好间隔为：

$${\Delta }_d=\left(L_{\mathrm{ref}}^{y^{+}}-L_{\theta }^{y^{+}}\right)-\left(L_{\mathrm{ref}}^{y_d^{-}}-L_{\theta }^{y_d^{-}}\right)$$

其中，$L_{\theta }$ 是当前 policy 的单样本 flow-matching loss，$L_{\mathrm{ref}}$ 是冻结参考模型的对应损失。直观上，${\Delta }_d$ 越大，当前模型越相对于参考模型偏向全局 winner 而不是第 $d$ 轴失败的 loser。

普通均值式多轴 DPO 是：

$$L_{\mathrm{mean}\text{-}\mathrm{DPO}}=\frac{1}{D}\sum _{d=1}^D-\log \sigma (\beta {\Delta }_d)$$

M-DPO 则是：

$$L_{\mathrm{M}\text{-}\mathrm{DPO}}=\log \left(1+\sum _{d=1}^D\exp (-\beta {\Delta }_d)\right)$$

其有效梯度权重为：

$$w_d=\frac{\exp (-\beta {\Delta }_d)}{1+{\sum }_{d^{\prime }}\exp (-\beta {\Delta }_{d^{\prime }})}$$

机制解释：

• 当某轴未满足偏好（${\Delta }_d<0$）时，$\exp (-\beta {\Delta }_d)$ 大，该轴获得大梯度；
• 已满足的轴（${\Delta }_d\gg 0$）权重接近零；
• 只有所有轴均已满足时，整体损失与所有权重才趋近零；
• $D=1$ 时，该目标退化为标准 DPO。

因此，本文最重要的并非“多维”本身，而是将多轴负样本放进一个多路比较，并用一个共享的 winner 定义所有约束必须同时满足。作者将其解释为多路 Bradley–Terry 模型的负对数似然，也可改写为负样本具有特定失败语义的 InfoNCE。

D. 推理时闭环编辑

面对密集图中的残余错误，作者使用 GPT-5.4 结合结构清单定位缺陷，按 Text、模块结构、箭头连接的优先级生成局部编辑指令。随后：

1. 将局部区域框对齐到 $16\times 16$ VAE grid，并保留一定上下文；
2. SciForma-9B 对该区域生成最多 $K=3$ 个局部重绘候选；
3. 固定评测器依据同一清单选择候选；
4. 只有局部得分提升，且全图得分未比历史最优状态下降超过 $ϵ=0.03$，才接受该编辑；否则回滚。

这是一个典型的“模型生成—VLM critic—局部重绘—全局守卫”系统。其工程价值在于将一次性生成改为可验证的纠错；风险则是 critic、定位框与 edit model 共同构成闭环，错误定位或局部裁剪不准确时可能导致新的全局损伤。

2.3 关键设计与创新判断

1. C/A/T 三轴结构清单

   • **解决什么：**把科学图中的模块、拓扑、文本错误显式分开，避免整体审美分掩盖关键逻辑错。
   • **为何可能有效：**箭头连错、文本乱码、组件缺失在语义后果上不同，分别诊断能产生更有信息量的训练与编辑信号。
   • **必要性证据：**作者报告 C–A 的相关系数在多模型上低于 0.02，其他轴对共享方差也低于 7%，说明这些指标在其基准和评测器下并未高度共变。
   • **创新判断：**面向科学方法图的三轴定义与可执行清单较有针对性；“拆维度评测”并非新范式，关键在于它与偏好对构造和合取损失的联动。

2. 共享 winner、轴锚定 loser 的偏好对

   • **解决什么：**独立逐轴选择 winner 可能让梯度相互冲突；全局 loser 又无法指出哪一轴错。
   • **为何可能有效：**共享正样本使所有梯度都拉向同一目标，而每轴 loser 让负方向可诊断。
   • **必要性证据：**从 Scalar DPO 到 DPO (Pareto)、M-DPO (mean)、M-DPO，平均分依次为 68.42、68.55、69.31、69.51；Text 分别为 65.08、64.83、66.47、67.00。该消融支持共享 winner 与非均值聚合的组合有效。
   • **创新判断：**这是 M-DPO 最有实质性的设计。仍需注意：各方法可能不仅改变目标函数，也改变了偏好对的采样统计与有效学习率，因而不能将全部差距归因于“合取语义”。

3. 合取损失的自适应梯度重加权

   • **解决什么：**均值损失会让已满足轴占据固定份额，削弱对瓶颈轴的更新。
   • **为何可能有效：**log-sum-exp 自动放大最小 ${\Delta }_d$ 对应的失败轴，无需手写动态权重。
   • **必要性证据：**作者报告 M-DPO 相对 Base 的最大改进出现在 Text（$+3.16$）和 Arrow（$+1.82$），恰为 Base 的弱轴；而继续 SFT 30K steps 的 Arrow 增益仅 $+0.01$、Text 为 $+0.46$。
   • **创新判断：**数学上清晰且可迁移，尤其适合“任一安全约束失败即不可接受”的生成任务；但它并不自动保证每个轴的真实质量，只会优先优化训练标签中定义的弱轴。

4. 生成/编辑联合 SFT 与验证门控局部修复

   • **解决什么：**一次性生成难以处理密集局部错误，单纯 inpainting 又易破坏全局。
   • **为何可能有效：**训练中加入编辑三元组，使模型学习局部改动；推理时用局部分数和全图分数共同门控。
   • **必要性证据：**加入编辑三元组后，以相同编辑预算进行 refinement，平均分从 68.76 提升到 71.72，Arrow 和 Text 分别提升 $+2.44$、$+2.66$。
   • **创新判断：**是合理的系统工程组合，直接可用于有局部可验证错误的图像编辑任务；不过其收益强依赖可用的定位器、评分器及局部边界框质量。

2.4 可迁移的方法论

对 Diffusion / RLHF / VLM / LLM 工作，最值得迁移的是以下原则，而非直接复制其整套科学图管线：

• 将复合 reward 改成“验证项集合 + 约束式偏好”
  若任务含多个不可互相抵消的条件，例如图表文字正确、UI 组件可点击、医学图像没有关键结构遗漏、代码生成同时满足测试/类型/安全约束，可为每个条件构建失败锚定负样本，并使用类似合取目标。
  前提是每一维都具有足够可靠、可区分的 verifier；若某个 verifier 噪声很大，梯度可能会集中追逐评估器伪差异。

• 用共享正样本减少多目标偏好冲突
  在多 reward 或多 rubric 的 DPO 中，若各轴 winner 不一致，训练可能拉向不兼容的方向。一个整体优胜、轴向败因不同的 winner–loser tuple 是一种更稳定的构造候选。
  风险是共享 winner 可能偏向“整体高分但缺乏某轴极致表现”的样本，且 winner 选择错误会同时污染所有轴。

• 优先挖掘“可归因失败”而非随机负样本
  论文用同 prompt 下的候选 rollout 来挑出单轴薄弱样本。这个思想可迁移到 VLM、文本、代码或 agent 后训练：应刻意构造只在一个关键条件失败的 hard negative，才能识别具体缺口。
  但这需要候选池足够多样。本文自身消融显示，混合 $4\times 50$ 步与 $8\times 25$ 步 rollout 比仅 $4\times 25$ 步更有效，说明负样本覆盖度是成败条件。

• 把“生成后修复”纳入同一可验证闭环
  对图表、文档、网页布局、结构化图像等局部错误可定位任务，可采用“缺陷检测—局部候选—局部验证—全局回滚”。
  风险是局部优化与全局目标不一致；必须保留完整全局验收，而不是只依据局部 critic 接受修改。

• 对 RLHF 的启示：标量化不是中立操作
  本文最普遍的价值是提醒：平均 reward 隐含允许补偿。若实际目标是 conjunction，训练目标、数据对构造、停止条件和评测报告都应保留 per-criterion 信息。该结论适用于 Diffusion，也适用于 LLM 安全、工具调用正确性和多模态结构理解；但是否需要合取目标仍取决于任务风险，而不应机械套用。

3. 关键证据与实验审计

证据 1：SciFormaBench-2K 上的总体提升与逐轴结果

展示了什么 → 在作者以 GPT-5.4 作为评测器的 SciFormaBench-2K 上，FLUX.2-klein-base-9B 为 33.87，SciForma-Base 为 67.59，SciForma-9B 为 69.51，SciForma-9B + Edit 为 72.40。SciForma-9B 的 C/A/T 为 74.49 / 66.46 / 67.00；Edit 后为 76.70 / 69.91 / 70.14。
支持什么 → 数据、两阶段 SFT、M-DPO 和闭环编辑的完整系统在该基准上显著优于其底座及多种开源模型；M-DPO 与编辑主要补强 Arrow 和 Text 这两个弱项。
仍不能证明什么 → 不能证明模型在所有科学图风格、未见领域、真实用户 prompt 或任意评测器下都达到相同优势；也不能仅凭一个自建基准证明“结构理解”或“接近专有模型能力”。

比较公平性审计：

• 作者报告比较了专有模型、开源扩散模型及统一多模态模型，并称使用默认设置；但从提取文本可见，不同模型在 prompt 格式、分辨率、采样预算、长宽比、文本渲染能力和 API 版本上可能天然不对称。
• SciForma 的输入是专门构造的、按 C/A/T 分解的 caption；对 AIBench，作者明确使用 prompt rewriter 将原始 LaTeX 改成域内 prompt。这对实践可用性合理，但也意味着结果衡量的是“完整系统，包括 prompt 转换”，而不只是底座生成器本身。
• 基准的结构清单、训练偏好打分、主评测及编辑 critic 都涉及 VLM。作者用 GPT-5.4 主评测，而 M-DPO 训练标签使用 Qwen3-VL；这避免了训练与主评测完全同一模型，但系统仍处于 VLM 定义目标的生态内。

证据 2：M-DPO 与 SFT、标量后训练及多维基线的消融

展示了什么 → 从同一 SciForma-Base 出发，继续 SFT 30K steps 的平均增益为 $+0.37$，M-DPO 4K steps 为 $+1.92$；后者对 Arrow/Text 的增益为 $+1.82/+3.16$。GDRO 为 $-0.10$，GRPO 为 $-1.29$。M-DPO 分别优于 DPO（68.42）、DPO Pareto（68.55）和 M-DPO mean（69.31），达到 69.51。
支持什么 → 在本文使用的候选构造、评分器、超参数和训练预算下，M-DPO 比继续 SFT、标量 GDRO/GRPO 和作者选取的多维对照更有效，尤其能改善原先较弱的文本和箭头轴。
仍不能证明什么 → 不能证明“标量 reward 天生无效”或“GRPO 不适合 Diffusion”；当前实验只覆盖特定 reward、有限步数、特定模型和特定数据。也不能严格证明全部增益都来自合取损失，因为候选挖掘、共享 winner、损失尺度、有效学习率与超参数可能共同改变结果。

这是本文最强的核心证据，因为它直接对准方法论主张，而不是只展示终局榜单。

值得肯定的部分：

• 比较序列较清晰：先是全局 DPO，再是逐轴 Pareto winner，再是共享 winner 的均值损失，最后是共享 winner 的合取损失。
• 文本轴结果尤其有诊断价值：CaPO 和 MCDPO 分别使 Text 相对 SFT 下降 $-1.34$、$-1.85$，而 M-DPO 提升 $+3.16$。这至少表明“多维偏好”不能自动保证所有维度改善。
• 作者还枚举了单轴、双轴、三轴配置：$D=3$ 时达到最高平均分 69.51，较 $D=1$、$D=2$ 配置更高，符合其“完整约束集合”叙述。

需要保留的质疑：

• “一分之七训练步数”的叙述不可直接等同于计算效率。M-DPO 的每步依赖预先 rollout、VLM 打分与 tuple 构建，完整数据生产成本可能远高于继续 SFT；论文给出训练步数，但从本文材料不足以计算端到端 GPU/API 成本。
• GDRO/GRPO 的不佳结果可能反映标量奖励设计、在线采样稳定性或超参数没有充分调优，而不完全是“标量化必然失败”。
• 作者称 M-DPO (mean) 的 $1/D$ 缩小有效学习率。若如此，均值损失的对照应同时给出学习率或 loss-scale 匹配版本，否则“合取聚合优于均值聚合”的比较仍有优化尺度混杂。

证据 3：跨评测器、用户研究与外部 AIBench

展示了什么 → 使用 Qwen3-VL-8B-Instruct 重评 SciFormaBench-2K 时，SciForma-9B + Edit 得分 61.05，仍高于 GPT-Image-1.5 的 59.32，且系统排名与 GPT-5.4 评测的 Pearson $r=0.9945$、Spearman $\rho =0.9824$。两轮 GPT-5.4 评测中，代表模型绝对差异均低于 0.22。用户研究中，36 名 AI 研究生评估 30 个样本；作者报告自动分数与人类偏好相关为 $r=0.76$。AIBench 上 SciForma-9B 为 70.29，略高于原始人工图的 70.09。
支持什么 → 作者的结构评分在第二个 VLM 下保留系统级排序，且重复评测波动较小；自动结构指标与部分人工偏好有正相关；在另一个 VQA 导向基准上，SciForma 的优势没有完全消失。
仍不能证明什么 → 不能证明评测没有系统偏差，更不能证明生成图在真实科研写作中优于人工图。$r=0.76$ 是相关而非等价验证；30 个用户研究样本和有限参与者不足以覆盖复杂图、错误严重度及跨学科使用场景。

尤其需要谨慎对待的是 AIBench “略高于人工原图”的解释。该基准由 VQA 协议评估图是否传达方法逻辑，SciForma-9B 的 70.29 仅高于 Original Image 的 70.09，差值很小；它更稳妥地说明在该自动 VQA 分数下两者接近，而非证明合成图在整体科研传播质量上优于人工图。事实上，原图在 Component 维度仍为 82.65，高于 SciForma-9B 的 77.53。

4. 批判性判断与复用建议

4.1 证据强度

总体判断：中等偏强的方法论证据，中等的系统性能证据，较弱的广泛泛化证据。

• 被直接支持的核心结论：

  • 在 SciFormaBench-2K 及作者指定训练/评测协议下，结构清单驱动的 SFT + M-DPO + 编辑闭环优于其基础模型。
  • M-DPO 相比文中实现的继续 SFT、GDRO、GRPO、DPO、CaPO、MCDPO，具有更好的 C/A/T 平衡改善，特别是在 Arrow 与 Text 轴。
  • 70K 编辑三元组有助于后续局部编辑，在给定同样编辑预算时提高 post-edit 得分。
  • 两个 VLM 评测器报告的系统排序较一致，且 GPT-5.4 评测的重复波动较小。

• 仅与结果一致、但尚未被充分证明的结论：

  • “结构轴统计正交，因此标量 reward 必然不合适。”低相关支持分别建模的动机，但并不自动导出所有标量优化都失败。
  • “SciForma 获得真正的拓扑与空间理解。”当前证据是基准分数与 VLM 评测一致性，不是行为层面的可组合泛化或因果机制验证。
  • “接近 proprietary-level structural fidelity。”与 GPT-Image-1.5 的局部比较可支持该说法的一部分，但同一表中 GPT-Image-2 为 85.62、Nano Banana Pro 为 81.34，SciForma-9B + Edit 为 72.40，仍有明显差距。
  • “优于人工原图。”在 AIBench 的单一自动 VQA 总分上略高不等于整体可读性、正确性、审美或发表质量都更优。

4.2 主要局限与失败条件

1. 训练、评测、编辑共同依赖 VLM，存在目标闭环风险
   数据 caption 由 Qwen3-VL 与论文上下文构造；偏好 tuple 使用 Qwen3-VL；主榜单使用 GPT-5.4；编辑 critic 也使用 GPT-5.4。虽然换评测器结果保留排序，但仍主要验证“两个 VLM 的判断一致”，不等于人类专家对真实科学语义完全一致。
   **影响：**机制解释、泛化和可复现性。

2. 结构清单的充分性有限：C/A/T 不覆盖全部科学图语义
   模块、箭头、文字是高价值的基础轴，但不必然涵盖图例语义、数学符号歧义、群组层级、跨页上下文、视觉强调、因果语义、比例关系和领域特定符号。若清单遗漏关键约束，M-DPO 会高效优化一个不完整目标。
   **影响：**泛化、指标失配和奖励投机风险。

3. 科学图训练/测试分布的独立性尚不足以完全审计
   数据来自 593K 篇 arXiv LaTeX 源，训练集与基准都经由同一采集和过滤流程产生。论文提到 pHash 去重和 benchmark holdout，但未在可见文本中给出按论文、作者、模板、领域、近邻结构或时间切分的完整泄漏审计。
   **影响：**泛化、新颖性与 benchmark 可信度。

4. 端到端成本和开放性可能限制实际部署
   训练使用 8×B200 的 SFT 和 4×B200 的 M-DPO；数据生成、偏好标注、评测与编辑还使用 Qwen3-VL、GPT-5.4、OpenAI-o3 等模型。论文承认编辑/评测依赖专有 VLM。
   **影响：**效率、可复现性和开源可用性。M-DPO 虽只训练 4K steps，但其候选 rollout 与 VLM 标注成本不可忽略。

5. 密集图、旋转文本与局部编辑边界仍是明确失败点
   作者报告 1024 px 分辨率限制密集结构与细字；旋转文字常乱码或被改为水平；复杂拓扑仍会出现错连、漏连、幻觉箭头；密集区域的 bbox 裁剪可能截断邻近元素并引入新伪影。
   **影响：**工程部署与高难度泛化。恰好这些失败点集中在作者最强调的结构保真任务上，因此不应被总体平均分掩盖。

4.3 最有价值的下一步验证

1. 做严格分布外和泄漏审计

   • **验证什么：**按论文、作者、实验室、年份、领域、图模板和近重复拓扑划分，SciForma 是否仍保持优势。
   • **为何重要：**科学图高度模板化，随机或弱去重切分可能高估泛化。
   • **改变判断的结果：**若在严格按来源/拓扑隔离的测试上 M-DPO 仍稳定改善 Arrow/Text，则对“可迁移结构对齐”的信心显著提高；若优势大幅消失，则更可能是图源分布拟合。

2. 做专家人工逐元素评审，并与 VLM 指标脱钩

   • **验证什么：**由跨领域科研人员对 C/A/T 清单、逻辑等价、文字准确性和发表可用性进行盲评，并报告与 GPT-5.4/Qwen3-VL 的一致性、分歧类型和错误严重度。
   • **为何重要：**本文的核心声称是结构正确，而结构正确的最终受众是研究者，不是 VLM。
   • **改变判断的结果：**若人类逐元素评审复现 M-DPO 的 Arrow/Text 优势，且能发现 VLM 未捕捉的错连，则结构清单路线更可信；若 VLM 提升不转化为人类判断提升，则当前优化可能主要在迎合评测器。

3. 控制采样预算与优化尺度，隔离合取损失的因果贡献

   • **验证什么：**在同一候选池、相同 tuple、等效梯度尺度、匹配训练 token/API 预算下，比较 mean-DPO、max/min-style objective、加权 scalar reward 与 M-DPO。
   • **为何重要：**当前对比同时改变了 winner/loser 构造、损失形式、梯度尺度与可能的有效学习率。
   • **改变判断的结果：**若尺度匹配后 M-DPO 仍系统性优于所有替代损失，才能更有力地将增益归因于合取目标，而非优化技巧或超参数偶然性。

4.4 最终复用结论

• **最值得借鉴：**把“不可补偿的多条件正确性”明确建模为 per-axis verifier、轴特异 hard negative 和共享 winner 的多路对比，而不是一开始就平均成单一 reward。
• 最值得借鉴：$w_d\propto \exp (-\beta {\Delta }_d)$ 这种自动聚焦瓶颈约束的机制。它避免了手调各奖励权重，适合存在明确验证项、且某一项失败即不可接受的生成任务。
• **不要照搬：**不要在缺乏高质量结构清单、可靠局部 verifier 或足够 diverse rollout 的任务中直接套 M-DPO；噪声维度会被作为“最弱轴”放大，导致训练追逐评测噪声。
• **适合的场景：**科学图、技术图、UI 布局、文档生成、结构化视觉内容、代码/工具调用等，可把关键需求离散为相对独立的可检查约束，并能构造单项失败的反事实负样本。
• **路线判断：**建议将本文纳入后续 Diffusion RLHF / post-training 路线，重点复用其偏好数据构造和合取优化思想；但在采用前，必须先建立独立于训练器的 verifier、端到端成本账本和严格的分布外评测。

5. 必要概念与文献地图

必要概念

• **结构保真（structural fidelity）：**不是图像“视觉上像不像”，而是模块、连接、文字等信息是否保持科学图的逻辑含义。本文将其视为不可补偿的正确性目标。
• **结构清单（structural inventory）：**从 prompt 与参考图中抽取的 Component、Arrow、Text 检查表；用于评测、偏好样本构造和推理时纠错。
• **Component / Arrow / Text（C/A/T）：**本文定义的三类结构原子：实体模块、定向关系、字面标注。它们是训练信号和指标分解的共同坐标系。
• **Flow matching：**扩散/连续流模型的训练目标；本文将每个候选图像的 flow-matching loss 用作 DPO 式隐式偏好 logit 的基础。
• **DPO：**Direct Preference Optimization。通过偏好样本对直接调整模型相对参考模型的偏好，而无需显式训练独立 reward model。
• **轴锚定负样本（dimension-anchored loser）：**同一个 prompt 下，专门在某一结构轴失败、但其他轴仍具竞争力的候选。它是本文细粒度归因的关键。
• **合取偏好目标（conjunctive objective）：**要求共享 winner 同时胜过所有轴向 loser；只满足部分约束时损失不会消失。
• **验证门控编辑（verification-gated editing）：**局部 inpainting 候选必须通过局部结构检查和全图质量守卫才被接受，否则回滚。

关键前作

• Rafailov et al., 2023，Direct Preference Optimization
  本文的偏好优化基础。SciForma 将标准一对一 DPO 扩展为一个共享 winner 对多个轴锚定 loser 的多路比较。

• Wallace et al., 2024，Diffusion Model Alignment using DPO
  将 DPO 类思想适配到 diffusion / flow-matching 生成模型，为本文以 flow-matching loss 构建 ${\Delta }_d$ 提供直接技术前提。

• Wang et al., 2026，GDRO：Group-level Reward Post-training Suitable for Diffusion Models
  文中用作标量排序后训练对照。SciForma 的立论重点之一是：GDRO 的单一总体 reward 会掩盖逐轴失败。

• Lee et al., 2025，CaPO：Calibrated Multi-Preference Optimization for Aligning Diffusion Models
  多偏好 Diffusion 对齐的直接邻近工作。本文以其 Text 轴回退为例，主张“多维”不足以替代合取耦合。

• Liao et al., 2026，AIBench：Evaluating Visual-Logical Consistency in Academic Illustration Generation
  本文使用的外部 VQA 型评测基准。它提供与 SciFormaBench-2K 不同的评价视角，但仍是自动化视觉语言评估，而非人类最终使用验证。