扩散模型在单一工作上的强化进建已经获得了显著进展 ，例如提升文字天生质量、加强构图正确性 ，或优化画面美感等。但倒剽些能力必要同时集成到统一个模型中时 ，训练往往会变得极度难题：分歧工作之间容易产生互有关扰 ，训练指标也会变得复杂而不不变。
近期 ，来自复旦大学与阿里巴巴通义万相的钻研团队对此提出了新的思虑。他们以为 ，多工作强化进建不应被视为一个统一优化问题 ，而应该解耦为两个彼此独立的过程：单工作的在线战术索求 & 多工作能力整合。
DiffusionOPD 的主题思路 ，是先针对分歧工作别离训练各自的「专家老师」模型；随后 ，再通过在线战术蒸馏 ，将这些老师模型的能力统一蒸馏到统一个学生模型中 ，实现多工作能力整合。最终 ，一个统一的 student model 便可能同时两全构图、OCR、美学等多项能力。
结合多工作 RL (Joint Multi-Task Optimization) ：使用现有的 RL 算法规如 DiffusionNFT, GRPO 去结合优化多个工作。这种范式会撞上两个问题： 1 嘉奖矛盾：分歧工作的优化?神驰往存在互有关扰； 2 工作失衡：单一工作会主导训练过程 ，导致复杂工作难以充分进建。
级联 RL (Cascade RL)：按阶段顺次训练分歧工作。固然可能缓解工作矛盾 ，但是训练流程复杂 ，必要别离调整各阶段的超参数与训练战术 ，并且容易产生苦难性忘却 ，后续工作训练的时辰会减弱已有能力。
图 1：（a）相比所有多工作强化进建基线步骤 ，DiffusionOPD 展示出显著更快的收敛速度以及更高的机能上限。（b）在蕴含 GenEval、OCR 与美学在内的多个工作领域中 ，DiffusionOPD 均优于所有基线步骤。
DiffusionOPD 给出的答案?脆利落：多工作强化进建不应被视为一个统一优化问题 ，而应该解耦为两个彼此独立的过程：单工作的在线战术索求 & 多工作能力整合。
Stage 1?单工作?师独?训练：针对分歧工作（如 GenEval、OCR、Aesthetic 等） ，别离使用现有的 diffusion RL 步骤训练对应的「专家老师」模型。其中 ，GenEval 工作选取 DiffusionNFT ，OCR 与美学工作选取 GRPO-Guard。由于每个老师仅掌管单一工作 ，因而可能预防跨工作滋扰。Stage 2?在线战术蒸馏多工作能力到学?模型：随后 ，从一个预训练扩散模型初始化统一的学生模型 ，并通过在线战术蒸馏整合多工作能力。在训练过程中 ，学生模型针对分歧工作 ，基于自身战术天生去噪轨迹；随后 ，在学生天生的每个去噪状态上 ，由对应工作的老师模型提供监督信号。因而 ，学生模型无需沉新对所有工作进行从零索求 ，而是可能直接进建各工作老师的战术与能力 ，从而实现高效的多工作能力融合。
在 LLM 中 ，OPD 的做法很天然：学生模型先依照自己的战术天生 token ，随后老师模型在学生接见到的每一个 token 状态上提供监督。由于说话模型自身是离散 token 散布 ，因而能够直接对每一步的 token distribution 做 KL 蒸馏。
因而作者首先把 diffusion 的去噪过程沉新视作一个 continuous-state Markov chain（陆续状态马尔可夫链）。在这个视角下 ，每一步去噪 transition 都对应一个 Gaussian transition kernel；学生模型和老师模型别离界说自己的 transition distribution：
DiffusionOPD 论文里严格证了然直接关式 KL 与 PPO -style policy gradient在进展意思下梯度齐全相称。但 PPO 的梯度里会多出一项 score-function 项 ，它与高斯噪声成正比 ，进展为零但方差不为零。也就是说 ，PPO 估计天然比关式 KL 更「吵」。
图 2：与多工作强化进建步骤以及单工作老师模型的定性对比了局。每个案例分为两行展示：第一行从左到右顺次为 DiffusionOPD（本文步骤）、Multi-Task GRPO-Guard、Multi-Task NFT 和 Cascade NFT；第二行从左到右顺次为输入文本、Aesthetic Teacher、GenEval Teacher 和 OCR Teacher 的天生了局。
作者还做了一组很有意思的对照尝试：固定统一批专家教员 ，别离用 DiffusionOPD、DMD、TDM、SFT 蒸馏到统一个学生 ，节造变量后对比谁更适合「多工作能力整合」这个场景。
图 6：关于损失函数大局与采样器噪声水平的消融尝试。当噪声水平设为 0 时 ，SDE sampler 将退化为 ODE sampler。尝试了局批注 ，PPO-style policy gradient 的阐发逊于同样 noise level 的 closed-form KL objective；此表 ，更低的噪声水平可能带来更快的收敛速度和更高的机能上限。
内衣办公室“相比课本里书面性的东西，这里的知识更注重实践。我们还有角色扮演和‘隐藏任务’，仿佛回到了革命先辈所处的年代，直观感受知识推动时代的发展，我觉得这样的红色传承不需要太多说教，但对我们很重要。”学生陈悠菲说道。关于世界杯的第一个记忆：奥尔莫表示：“我会说是2010年，就是我们夺冠那届。我记得当时在家和家人一起看，我穿着大卫-比利亚的7号球衣。”内衣办公室WINDOWS11国产免费百度不用下载而且替补席上场之后，他们给到的输出也足够好。洛夫顿的伤势康复了，这让其保证了得分与串联的双重输出，也可以给到古德温一些休息的时间。偰李永炜和刘铮都可以在反击中把握机会，他们全队都在贡献价值。【丰田叫停雷克萨斯LF-ZC量产，回应：不是放弃纯电车】近日，有消息称，丰田叫停了雷克萨斯纯电动轿车LF-ZC量产车型的开发。“本次车型开发中止，主要是考虑到了市场需求的变化，这也是公司对整体车辆开发项目进行调整的一部分，但并不代表公司放弃了BEV（纯电动汽车）。”针对上述车型研发暂停的原因，丰田中国相关工作人员记者回应称。（每日经济新闻）
20260608 ? 内衣办公室记者实测表明，贴上遮光膜后录制几乎无法被察觉，提示音仅使用者本人能听见。走访多家品牌门店发现，多款智能眼镜的提示灯设计隐蔽，官网首页未见隐私提醒。两个奶被揉的又硬又翘是怀孕了吗本周日，这个皇马赛季将结束。这直接成为白衣军团历史上最黑暗的一页之一，也可能标志着弗洛伦蒂诺·佩雷斯时代的终结。但尽管如此，尽管他的球队在经济和竞技方面都存在明显问题，弗洛伦蒂诺仍很可能以绝对优势获胜。
20260608 ? 内衣办公室近日，新华社记者在深圳南山发现一个新面孔：一位具身机器人巡警，在人流中巡逻。具身智能如何实现从探索到落地，请看来自记者的观察。法国空姐3免费高清原声满天星旁观至于伊能静和秦昊，他俩算是这季节目里最稳的存在了。秦昊的毒舌和伊能静的高情商形成了天然的戏剧张力，这种相爱相杀的模式让观众看得乐不可支。但静下心来想，伊能静在这趟旅行里的角色，与其说是妻子，不如说更像团队的管家和情绪安抚师。孙杨带错路她不抱怨，张豆豆被气哭她去安慰，所有人都情绪低落了她来活跃气氛。她把自己活成了行走的情绪价值供应机。
京公网安备11010202000001号
