Oxygen-TryOn: Fashion-Native Foundation Model for Any-item Virtual Try-On

论文元数据

• Authors: Yong Liu, Xiaolong Fu, Zihang Xu, Wen Xue, Xueheng Li, Lin Song, Yuan Zhang, Chuyang Zhao, Haoyang Huang, Nan Duan, Yipeng Sun, Yan Li, Simiu Gu
• Publication date: 2026-07-23T00:00:00.000Z
• arXiv: https://arxiv.org/abs/2607.21694
• PDF: https://arxiv.org/pdf/2607.21694
• Project: https://oxygenvision.github.io/Oxygen-TryOn/
• Code: 未提供
• 本次阅读输入： 文本回退 + 已定位图像

---

论文标题：Oxygen-TryOn：面向任意物品虚拟试穿的时尚原生基础模型

阅读范围与证据边界

• 输入范围： 本解读基于论文《Oxygen-TryOn: Fashion-Native Foundation Model for Any-item Virtual Try-On》的完整 PDF 文本提取稿，包括正文、图注、可提取表格与参考文献；这是一个文本回退（text fallback）输入。
• 未直接审阅视觉页： 我没有直接检查 PDF 的页面布局、颜色、曲线/框选几何、图中像素级对比、排版强调，或文本与图注未保留的图表细节。因此，下文对 Figure 1–11 的讨论仅依据作者在正文和图注中的文字描述，不把它表述为独立的视觉核验。
• 证据分层： “作者主张”指论文自己的定位与解释；“论文直接证据”指报告的训练设计、表格数值、评测协议与作者描述的人评；“分析者判断”是基于这些材料对因果、泛化、可复现性与复用价值作出的保守推断。
• 材料缺口： 提取文本未给出全部数据规模的精确构成、数据许可与来源细节、训练总算力/时长、RL 采样与超参数、奖励模型独立验证、每个基准的完整题目与原始输出。因此，不能据此确认其可复现性、数据去重/泄漏充分性，或将结果外推为真实用户环境中的稳定商业能力。
• 数值解释边界： 论文部分比较来自作者在本地环境的复测，部分来自基线论文的原始报告；且多项核心指标由 Gemini、GPT-5 等 MLLM 评审产生。它们能支持“在作者设定和协议下表现较强”，但不足以单独证明全面优于所有竞争系统。

1. 一页速览：值不值得看

维度	判断
问题	将虚拟试穿从“单件服装 + 干净商品图 + 棚拍人物”的受限设定，扩展到任意可穿戴物品、可变数量参考图、商品图或真人穿着图、全身/半身/局部身体区域，以及多物品叠穿与可选编辑指令。这个问题直接对应电商试穿中最难的细节保真、人物保持和多参考绑定。
一句话方法	在 JoyAI-Image-Edit 的 MLLM + VAE + 16B MMDiT 基础上，把试穿建模为多参考、理解驱动的条件生成；以专用数据引擎进行 CPT→SFT→混合奖励 RL，并通过自然语言和位置编码绑定多个参考物品。
真正新意	实质贡献更像是系统级配方：开放域时尚数据构造、异构多参考条件化、任务专用奖励与三阶段训练共同服务“任意物品试穿”。单个骨干、流匹配、VLM 判断器、GRPO 风格组内相对优化均非全新；“不用 mask、靠理解式生成”是明确的建模取向，但其必要性尚未被充分隔离。
关键结果	在作者复测的 TStars-VTON 单件设置中，Overall 为 9.36，高于次优复测系统 Seedream5 Lite 的 8.77；多件设置 Overall 为 8.41，高于 Seedream5 Lite 的 8.19，但物品保真 8.03 低于多家闭源系统。内部 Oxygen-TryOn Bench 上，Cloth-to-Model / Model-to-Model 可用率为 86.79% / 85.43%。
可信度	中等。 公开基准上的复测、训练阶段消融和约 985 样本的人评形成了较完整证据链；但内部基准与奖励模型不可独立审计，核心开放域评测大量依赖 MLLM 裁判，且若干基线的原始结果无法复现。
相关性	高（Diffusion + RLHF）。 论文展示了如何把视觉质量偏好拆成任务专用奖励与通用 rubric 奖励，应用到流匹配扩散模型的在线 RL；对 VLM/LLM 的直接方法迁移有限，但其多模态奖励、数据均衡与评估设计有参考价值。
建议	精读。 若目标是研究或构建 Diffusion 后训练、视觉偏好优化、商品/人物一致性编辑，这是近期少见的端到端配方披露；若只关心一个轻量、可复现的开源 VTON 模型，则应按需参考，因为关键数据、训练预算和奖励细节仍不完整。

Figure 1｜第 2 页。 Figure 1 Oxygen-TryOn delivers high-fidelity any-item visual try-on across diverse scenarios. 图像按 caption/版面候选定位并从原 PDF 页面渲染；本报告的分析性结论仍以正文与 caption 为依据，未将未执行的视觉模型审阅伪装为视觉证据。

2. 方法论拆解

2.1 问题与已有路线的缺口

传统虚拟试穿通常将输入限制为“目标人物 + 一件平铺服装 + 服装区域 mask”，再使用衣物 warp、拼接或扩散修补。该路线在 DressCode、VITON-HD 一类棚拍数据上有效，但在以下场景失效或覆盖不足：

1. 参考物品异构。 用户上传的参考可能是白底商品图，也可能是另一个人已穿着该物品的生活照。后者要求先把衣物与源人物、背景和姿态解耦。
2. 物品类别与目标区域多样。 鞋、帽子、包、首饰等不能自然落入传统“上衣/下装 mask”范式；局部手、脚、头部输入也让标准人体解析假设变弱。
3. 多件组合的绑定与层叠。 多件衣物不能简单独立编辑：物品之间存在区域互斥、服装层级、遮挡、手持关系和背景保持约束。
4. 编辑与试穿共存。 用户可能同时要求换装、改姿态或改背景。传统流水线往往需要先试穿再编辑，误差会累积。

作者的核心重述是：不把问题看成预定义区域的补洞，而是令模型从目标主体 $I_s$、参考集合 $R=\{I_1,\dots ,I_n\}$ 与可选文本指令 $T$ 直接生成试穿结果：

$$I_o=G(I_s,R,T).$$

这里 $n$ 可变，$T$ 可含试穿描述和附加编辑。这个形式本身并不保证模型真正“理解”衣物；它只是把原来由 mask、warp 或显式类别标签承担的结构先验，转移给多模态编码器、训练数据和生成模型隐式学习。

与本文最相关的既有路线是：

• VITON / CP-VTON 及其扩散继承者： 以 garment warping、人体保持、mask 或注意力融合提升单件服装转移；优势是任务约束清晰，弱点是输入与类别假设强。
• CatVTON、FitDiT、IDM-VTON、OOTDiffusion： 通过扩散条件化、细节保持或注意力设计提高标准试穿质量，但主要仍围绕衣物替换。
• Any2AnyTryon、FastFit： 接近多参考或更通用试穿，但作者认为仍以服装为中心，未统一覆盖穿着图参考、配件和任意多物品。
• 通用图像编辑模型： 如 FLUX.2、Qwen-Image、GPT-Image-2 等，具备开放式指令理解与图像合成能力，但未针对 logo、纹理、人物身份与多物品层叠的一致性专门优化。

2.2 核心机制与流程

整体系统可以理解为“语义绑定—外观承载—联合去噪—偏好后训练”四层。

1. 输入与语义理解：Qwen3-VL 负责回答“是什么、穿到哪里、怎样穿”。

模型以 Qwen3-VL-8B-Instruct 为 MLLM 理解模块，联合编码目标人物、若干参考图和文本指令。其最终层 hidden states 被送入 MMDiT 作为语义条件。文本使用“Picture 1 / Picture 2”等自然语言位置描述来指向参考图，并通过物品类别、目标区域和层叠语句消歧。

论文还引入 Prompt Enhancer：先识别图像角色和任务类型，再把用户指令重写为规范试穿提示。该模块可能降低自由文本的格式噪声，但文中没有给出“有/无 Prompt Enhancer”的独立定量消融，因此不能判断它是否是性能主因。

2. 图像外观承载：共享 VAE 将人物和每张参考图编码为 latent token。

Wan-2.1-VAE 负责压缩图像，作者的目标是尽量保留服装纹理、图案和 logo 等高频细节。关键点在于：参考图 latent 保持干净、只作条件；目标图对应区域从高斯噪声出发，被逐步生成。

3. 可变多参考条件化：以 MRoPE 的时间轴区分图片。

所有参考与目标 latent 被拼成一个 token 序列。目标区域是待去噪生成区，参考区域是条件区。论文刻意不加 segment embedding、image-id token、region-type embedding 或显式类别编码；不同图像通过 MRoPE 的时间轴 $T$ 上互不重叠的区间来区分。

这一选择的隐含假设是：位置编码足以稳定地区分多个视觉参考，而“哪个物品放哪个部位”可以由语言侧 MLLM token 解决。理论上，它将：

• 外观信息留给 VAE latent；
• 语义、绑定与放置关系留给 MLLM；
• 多参考交互与最终合成交给双流 MMDiT。

优点是条件接口统一、可支持可变参考数；风险是参考顺序和文本措辞成为强耦合控制信号。论文推荐“商品图在前、真人穿着参考在后”，也间接说明训练分布与输入排序仍会影响稳定性。

4. 三阶段训练：CPT 保通用能力，SFT 建试穿能力，RL 对齐主观质量。

• CPT： 在通用预训练数据与试穿数据的 $1:1$ 混合上继续训练。作者主张这避免模型因过度时尚专化而丧失通用编辑能力。
• SFT： 使用数据引擎构造的物品—主体—结果三元组进行监督训练，覆盖商品到人物、人物到人物、多物品、配饰、鞋包与无 mask 指令试穿。
• RL： 在 SFT 后用混合奖励继续优化细粒度物品一致性、人物/背景保持、指令服从和物理合理性。

SFT 使用条件 flow matching。给定真实目标 latent $x_0$、噪声 $ϵ\sim \mathcal{N}(0,I)$、时间步 $t\in [0,1]$，构造：

$$x_t=(1-t)x_0+tϵ,$$

并最小化速度场预测误差：

$${\mathcal{L}}_{\mathrm{SFT}}={\mathbb{E}}_{x_0,ϵ,t}\left[{\Vert v_{\theta }(x_t,t,c)-(ϵ-x_0)\Vert }_2^2\right],$$

其中 $c=(T,I_s,R)$。该目标训练模型沿从噪声到目标试穿图的路径预测速度；它要求训练目标本身足够可靠，因而数据引擎生成或配对的伪标签质量成为上限。

5. 混合奖励 RL：用专用偏好模型补细节，用 Gemini rubric 补全局质量。

内部 try-on reward model 为基于 Qwen3-VL-Instruct 的 8B VLM，使用约 10 万个人工标注的成对偏好样本微调，分别预测物品一致性、脸部一致性、整体视觉质量，再平均为奖励。它还预测不确定性，并使用不确定性感知的 pairwise ranking loss。

Gemini 3.1 Pro 裁判从六个子标准评分：

• 一致性：指令一致性、身份一致性、物品一致性；
• 视觉质量：穿着自然性、整体美学、无伪影。

每组三项先取调和平均，再将两个组分数取几何平均。调和平均会惩罚短板，几何平均也抑制“只在一个大项优秀”的高分。这是设计上合理的防 reward hacking 策略，但它是否真的减少了 reward hacking，缺少独立攻击测试或 reward–human correlation 报告。

最终将 Gemini 奖励与内部奖励加权融合，并使用 DiffusionNFT 范式做组内相对奖励优化。论文没有在提取文本中披露融合权重、每组采样数、KL/正则约束、RL 训练步数、生成成本或奖励调用成本，这限制了复现和效率判断。

2.3 关键设计与创新判断

1. 从 mask-based inpainting 转为理解驱动多参考生成

   • 解决什么： 避免为每一类物品、每种身体区域制作显式 mask 或专门 warp 流程。
   • 为什么可能有效： MLLM 可以吸收开放式指令、物品类别和跨图关系；MMDiT 可联合处理遮挡与层叠。
   • 必要性证据： 不充分。没有与强 mask/warp 基线在同等数据、同一骨干、同等训练预算下的严格对照，因而不能归因于“去 mask”本身。
   • 创新性质： 主要是问题重构和系统整合，而非全新生成目标。

2. 时尚专用数据引擎与四类三元组构造

   • 解决什么： 真实对齐的 item–subject–result 三元组稀缺，且长尾类别与复杂组合覆盖不足。
   • 为什么可能有效： 真实商品/真人样本带来纹理可信度；合成样本扩展身份、姿态、局部区域与罕见组合；区域和类别约束减少不合理配对。
   • 必要性证据： 间接。CPT→SFT 的收益大，但没有数据源比例、合成质量、过滤阶段或配对约束的消融。
   • 创新性质： 是最具工程价值的贡献之一，但数据本身不可公开审计时，方法透明度仍有限。

3. 仅用位置编码区分多张参考图

   • 解决什么： 在不引入专用 image-id 或类别 token 的情况下支持可变参考数。
   • 为什么可能有效： 将参考图按 MRoPE 时间区间分离，减少输入接口复杂度；语义绑定转由自然语言承担。
   • 必要性证据： 缺失。未比较显式参考标签、segment embedding、图像索引 token 等方案，不能确认这是更优而非更简洁的实现。
   • 创新性质： 是干净的条件化设计选择，贡献偏架构工程。

4. 专用奖励模型 + rubric-guided 通用 VLM 裁判的混合 RL

   • 解决什么： 像素/似然目标难直接表达 logo、纹理、身份保持、物理层叠及复杂指令服从。
   • 为什么可能有效： 专用 RM 对时尚失败模式更敏感；通用 MLLM 评估开放域指令与整体合理性；短板惩罚聚合降低单维投机。
   • 必要性证据： 论文给出 RL 总体增益，但未拆解内部 RM、Gemini、短板聚合和不确定性建模各自的贡献。
   • 创新性质： 对 Diffusion RLHF 最有可迁移价值，但并非概念首创。

2.4 可迁移的方法论

对 Diffusion / RLHF / VLM / LLM 工作，最值得迁移的不是“虚拟试穿任务本身”，而是以下设计模式：

• 把复杂视觉编辑质量拆成结构化奖励维度。 将“生成好不好”分解成任务完成、主体保持、条件保真、视觉自然性等可检查项；再用调和平均或几何平均惩罚短板。这适合多条件图像编辑、角色一致性生成、商品图编辑和视频编辑。前提是每个维度都有可靠的评审信号；否则聚合只会放大裁判偏差。
• 专用 RM 与通用 VLM judge 互补。 专用 RM 负责高频任务错误，通用模型负责开放式语义与长尾条件。适用于视觉 RLHF，但必须先测量两类 judge 与人类偏好的相关性、偏见与可被利用的模式。
• 按困难轴均衡 RL 数据。 论文沿指令类型、参考类型、场景复杂度和参考数量均衡 RL prompt 集。对任何后训练任务，这比单纯增大偏好数据量更具可迁移性；风险是“手工定义的轴”遗漏真实线上长尾。
• 在显式控制与隐式学习间保留可审计接口。 该论文选择语言绑定和位置编码，而非专门 mask/token。若迁移到高风险或高精度编辑任务，建议保留可选的显式实体/区域条件，并做有无显式控制的消融，而非默认放弃结构化约束。
• 数据引擎优先于模型小改。 作者报告 SFT 比 RL 带来更大收益，说明覆盖物品、人物和场景的监督数据是能力基础。此结论可迁移，但不能据此推断合成数据越多越好：应分别监控真实/合成比例、伪标签噪声和分布泄漏。

3. 关键证据与实验审计

证据一：公开传统基准上的统一模型表现

展示了什么 → 支持什么 → 仍不能证明什么
在作者重评的 DressCode 和 VITON-HD 配对设置中，Oxygen-TryOn 分别报告 DressCode 的 FID/KID/SSIM/LPIPS 为 1.932 / 0.387 / 0.936 / 0.034，VITON-HD 为 3.941 / 0.491 / 0.914 / 0.050；在重评方法集合中领先。
这支持该系统至少没有因追求开放域、多物品能力而完全牺牲标准单件服装试穿的重建指标。
但它不能证明“理解驱动、无 mask 建模”是领先原因，也不能证明在真实用户上传图、服装细节或多物品条件下同样稳定。

审计要点：

• 比较公平性有限。 作者明确表示若干基线的官方数字无法完全复现，因此最佳/次佳只在“作者重评的基线 + 本文”中计算；官方报告仅作参考。这是比直接混排数字更诚实的做法，但作者环境、推理配置、模型版本和 API 版本仍可能构成混杂。
• 指标适配性有限。 FID/KID/SSIM/LPIPS 更接近整体分布或对配对目标的相似度，不能充分衡量 logo 是否正确、身份是否漂移、多个物品是否全部被执行。
• 作者解释未被验证。 Oxygen-TryOn 在 VITON-HD 非配对 KID 为 1.171，落后于重评 FastFit 的 0.973。作者把这归因于后者更贴合窄分布棚拍图；这一解释合理但尚无分布控制实验直接证明。

证据二：TStars-VTON 的单件、多件评测

展示了什么 → 支持什么 → 仍不能证明什么
在单件设置，Oxygen-TryOn 报告 Overall 9.36、身份 9.82、物品保真 9.10、背景保持 9.69、物理/结构逻辑 9.29；对比复测次优 Seedream5 Lite 的 Overall 8.77。在 2–4 件多参考设置，Overall 8.41，身份 9.07、背景 9.00、物理逻辑 8.57，但物品保真 8.03 低于 GPT-Image-2、Nano Banana Pro、Seedream5 Lite。
这直接支持模型在该 VLM 评分协议下具备较均衡的单件能力，并在作者设定的至多四参考多件任务中维持较强总体表现。
它不能证明模型在五件以上、真实任意数量参考、对抗性文本、罕见配饰或未见品牌 logo 上可靠，也不能把 MLLM 分数等同于用户真实满意度。

审计要点：

• 协议本身依赖 MLLM。 TStars-VTON 使用 Gemini 3.1 Pro 对身份、物品、背景、物理逻辑打 1–10 分，并对四项取几何平均。几何平均适合短板任务，却也使最终排名对任一 judge 子项的校准误差敏感。
• API 漂移是实质风险。 论文称因 Gemini API 变化，其复现得分与 TStars-VTON 原论文差异显著。因此，结论应理解为“在当前作者调用的 API 版本和脚本下”成立，而非跨时间稳定的绝对榜单。
• 多件物品保真仍是弱项。 总体第一不应遮蔽关键失败维度：在多件场景，作者模型的 item fidelity 为 8.03，落后于闭源对手的 8.33–8.50。对于电商试穿，这一维度恰可能是商业上最重要的约束。

证据三：内部部署基准、CPT/SFT/RL 消融与人评

展示了什么 → 支持什么 → 仍不能证明什么
在内部 1,000 样本 Oxygen-TryOn Bench 上，最终模型在 Cloth-to-Model / Model-to-Model 的可用率为 86.79% / 85.43%；CPT→SFT→RL 消融显示，SFT 将两个分割的可用率从 67.95%→85.95%、70.18%→80.44%，RL 再提升至最终值。约 985 个共同可处理样本的人评中，本文 Overall 为 3.5502，略高于 GPT-Image-2 的 3.5375，但物品一致性和美学略低于 GPT-Image-2。
这支持“高质量试穿监督建立主能力，RL 带来额外一致性和可用率增益”的核心训练叙事，也支持模型并非只在传统公开数据集上有效。
但内部基准的构成、去重、任务分布与标注盲法不透明；人评差距极小，未报告置信区间或显著性检验，因而不能稳健证明超过 GPT-Image-2。

审计要点：

• SFT 的作用最清楚，RL 的机制证据较弱。 RL 在较难的 Model-to-Model 上将可用率提升 4.99 个点，并提升 item consistency 与 overall；但没有给出纯内部 RM、纯 Gemini judge、不同权重、不同聚合函数等消融，不能确认混合奖励的每个设计都必要。
• “可用率”阈值有合理性但主观。 三个 1–5 分维度都必须严格大于 3 才计入可直接交付，这体现短板原则；但阈值选择和 GPT-5 judge 的标定会显著影响百分比。
• 人评协议信息不完整。 每一维由三位训练标注员评分、每样本共九位评估者，这优于单标注；但材料未说明随机化、是否盲测、样本抽样规则、标注者一致性、显著性检验和错误分析。
• 内部集存在过拟合与数据泄漏风险。 训练数据同时来自电商、开放域和合成样本，而内部测试集的收集、去重及品牌/图片近邻排除机制未充分展开。现有信息不足以判断测试是否与训练源严格隔离。

4. 批判性判断与复用建议

4.1 证据强度

总体判断：中等。

被较直接支持的结论：

• 在作者的公开基准复测协议下，模型对单件试穿有强竞争力。
• 在至多四个参考条件的 TStars-VTON 多件任务中，模型总体得分较高，尤其在身份、背景和物理结构维度表现突出。
• 试穿专用 SFT 是能力跃升的主要来源；RL 在内部基准上带来额外但相对较小的改进。
• 该模型不是单纯依靠自动裁判自证：论文还报告了对 GPT-Image-2 和 Nano Banana Pro 的人评比较。

仅与结果一致、但没有被充分证明的结论：

• “去 mask 的理解驱动建模”优于显式结构控制。
• MRoPE 时间轴而非参考标识 token 是多参考条件化的关键原因。
• 混合奖励、短板聚合和不确定性感知 RM 分别有效，并确实抑制 reward hacking。
• 内部数据引擎的具体筛选、配对和合成策略决定了跨域泛化。
• 系统已经达到“任意物品”“真实部署可直接交付”或“领先所有闭源模型”的普适结论。

4.2 主要局限与失败条件

1. 数据与监督不可充分审计——影响泛化、可复现性与合规性。
   论文披露原始池超过 5,000 万张图、过滤后超过 1,000 万张图，但没有给出每类来源占比、许可、主体同意、真实与合成样本比例、训练/测试去重策略或具体数据发布状态。对电商和人像任务而言，这不仅影响复现，也影响版权、肖像与品牌 logo 的部署风险。

2. 多物品容量存在明确上限——影响核心“任意物品”主张。
   基座预训练至多支持四张参考图，实验也限制在 2–4 个参考；作者承认五件以上会出现物品混淆、漏物品和不合理层叠。因此，“any-item”应理解为物品类别宽，而非无上限的参考数量或任意复杂 outfit。

3. 奖励与评估高度依赖同类 MLLM judge——影响机制解释与结果可信度。
   Gemini 既参与 RL 奖励，也参与 TStars-VTON 评估；虽然训练和评测未必是同一输入样本，但存在优化目标与测试裁判同源的风险。内部基准使用 GPT-5，能部分缓解，却仍是模型裁判而非真实交互或可重复的任务指标。

4. 关键系统设计缺少细粒度消融——影响新颖性判断。
   当前只有 CPT/SFT/RL 阶段消融，缺失数据源、合成比例、过滤器、Prompt Enhancer、MRoPE 编码策略、语言绑定、无 mask 设计、两种奖励源、奖励融合权重等对照。由此难以把性能归因到任何一项核心技术选择。

5. 效率与工程部署信息不足——影响实际可用性。
   16B MMDiT、Qwen3-VL-8B、多个参考 latent、扩散多步采样和外部 Gemini judge 都可能昂贵。论文承认推理速度限制并计划蒸馏版本，但未报告端到端延迟、显存、吞吐、分辨率、采样步数或成本；“可部署”不能据当前信息确认。

4.3 最有价值的下一步验证

1. 做奖励源与聚合策略的完整因子消融。
   验证：内部 RM、Gemini rubric、二者加权、算术/调和/几何聚合、不确定性建模各自带来什么。
   重要性：这是本文最直接关联 Diffusion RLHF 的方法贡献。
   改变判断的结果：若纯内部 RM 或纯通用 judge 达到同等效果，混合奖励的新颖性与复杂度合理性会显著下降；若混合方案在独立人评中稳定胜出，方法价值将增强。

2. 建立独立、公开或可审计的开放域测试集。
   验证：按商品图/真人穿着参考、物品类别、遮挡、人物局部、长尾品牌纹理、参考数 1–8、指令冲突等因素分层评测，并严格做训练近邻去重。
   重要性：可区分真正开放域泛化与内部数据覆盖或泄漏。
   改变判断的结果：若性能在 5+ 参考、穿着图解耦和长尾配饰上明显崩塌，则“统一任意物品模型”的表述需要收缩。

3. 在同一数据和预算下比较显式结构控制与纯理解驱动控制。
   验证：无 mask、粗 mask、人体部位/实例 token、参考 ID token、MRoPE-only 等方案在单件和多件任务上的质量、失败率、可控性和算力。
   重要性：直接检验论文最核心的建模判断。
   改变判断的结果：若显式区域/身份条件显著提升多件 item fidelity 或降低错绑，实践上应采用混合控制而非完全去 mask。

4.4 最终复用结论

• 值得借鉴： 将视觉编辑偏好拆成“条件/物品保真、主体保持、视觉质量、结构合理性”，再以短板敏感的聚合方式作为 RL 目标；这比单一美学分数更适合高约束生成。
• 值得借鉴： 用真实样本保证高频细节，用合成数据补长尾组合，并在配对阶段施加身体区域、类别兼容和物理共存约束；数据构造应被视为模型能力的一部分。
• 不要照搬： 不应在缺少独立消融时直接采用“只有位置编码 + 自然语言引用”的多参考绑定方案。需要先验证参考顺序敏感性、错绑率与多物品漏执行率。
• 不要照搬： 不应直接把通用 VLM 裁判得分当作在线业务成功率；应保留盲测人评、真实用户任务成功率、品牌/纹理保真检测与对抗性 reward-hacking 审计。
• 技术路线建议： 对 Diffusion RLHF 项目，应将本文纳入“多模态后训练与复杂条件生成”的重点参考；对实际试穿产品，则先复用其奖励分解和数据约束思想，再以独立数据、结构化控制及效率评测补齐工程闭环。

5. 必要概念与文献地图

必要概念

• 虚拟试穿（Virtual Try-On, VTON）： 将参考服饰或配件合成到目标人物上，同时保持人物身份、姿态、体型与背景。本文将其扩展至鞋、包、帽、首饰及多物品组合。
• 多参考条件生成： 同时利用多张参考图控制一个输出。本文的难点不只是“看见多图”，还包括将每件物品正确绑定到身体区域，并处理遮挡与层叠。
• MLLM： 多模态大语言模型，用于把图像与文本转为带语义关系的条件 token。本文使用 Qwen3-VL-8B-Instruct 解析人物、参考物品和指令。
• VAE latent： 将图像压缩为连续潜变量 token 的表示。本文用它保存人物和参考物品的视觉细节，并送入扩散 Transformer。
• MMDiT： 多模态 Diffusion Transformer，联合融合文本语义、图像 latent 与噪声 token，逐步生成最终试穿图。
• Flow Matching： 直接学习从噪声到数据的速度场，而非传统扩散的噪声预测。本文的 SFT 使用条件 flow-matching 损失训练 MMDiT。
• MRoPE： 多模态旋转位置编码。本文用其时间轴为目标图和各参考图划分不重叠位置区间，以区分不同图像而不额外加入 image-id token。
• Diffusion RLHF / 奖励优化： 在监督训练后，依据偏好或评审奖励优化生成策略。本文用组内相对奖励，将专用 try-on RM 与 Gemini rubric judge 融合。

关键前作

• VITON（Han et al., 2018）与 CP-VTON（Wang et al., 2018）： 奠定人物保持、衣物 warp 与合成的经典图像试穿范式；Oxygen-TryOn 将自己定位为对这种受限单件、显式结构路线的扩展。
• DressCode（Morelli et al., 2022）与 VITON-HD（Choi et al., 2021）： 传统高分辨率试穿评测基准；本文用其配对/非配对指标证明统一模型未牺牲标准任务性能。
• CatVTON（Chong et al., 2024）、FitDiT（Jiang et al., 2024）、IDM-VTON（Choi et al., 2024）： 扩散式专用试穿代表，主要强调服装融合与细节；是本文公开基准中的直接学术对照。
• Any2AnyTryon（Guo et al., 2025）与 FastFit（Chong et al., 2025）： 更接近多参考和通用试穿的近期路线；本文认为它们仍主要以服装为中心，未统一解决异构任意物品与复杂组合。
• DiffusionNFT（Zheng et al., 2025）与 Flow-GRPO（Liu et al., 2025）： 面向扩散/流匹配模型的在线奖励优化范式；本文的 RL 阶段建立在这类思路上，而其新增部分是试穿专用的混合奖励设计。