这项由复旦大学与阿里巴巴集团万象团队齐集开展的盘问，以预印实质式于2026年5月14日发布在arXiv平台，论文编号为arXiv:2605.15055。感意思意思的读者可通过该编号在arXiv上检索齐全论文。

当你绽开一款AI绘制软件，顺手输入一段笔墨描写，几秒钟后屏幕上便出现了一张缜密的图片。这背后，是一个叫作念"扩散模子"的AI系统在沉默运作。畴昔几年，盘问者们一经可以通过"强化学习"的方式，把这类模子考研得越来越专注于某一项妙技——比如让画面更顺眼、让笔墨渲染更准确、或者让物体的空间干系更允洽描写。

商量词，一个践诺的郁闷永恒存在：现实中的用户并不单想要一项妙技，他们但愿统一个模子既能画得顺眼，又能准确呈现笔墨，还能正确默契"把苹果放在篮子左边"这样的空间指示。这就像一个厨师，弗成只会作念一说念菜，得是个全才。但问题在于，现存的考研要领在濒临多项任务常常时疲於逃命：要么几个任务相互滋扰、越练越乱，要么得一个任务一个任务地交替教，费时劳苦，何况教完新任务又容易把旧任务忘掉。

这篇论文淡薄的要领叫作念**DiffusionOPD**，其中OPD代表"在线战术蒸馏"（On-Policy Distillation）。盘问团队用一个相等贤达的想路顾问了上述难题，并在多个巨擘评测上获取了当今最佳的得益。

---

一、为什么"万能选手"这样难培养

回到厨师的譬如。假定你要培养一个能同期烹调川菜、粤菜和法餐的厨师，频繁有两条路可走。第一条路是让他同期学三种菜系，每天混着练。听起来高效，但问题相继而至——川菜追求麻辣，法餐矜重良好清淡，这两种口味的考研场合自身就相互突破。更贫穷的是，粤菜相对容易上手，学徒很可能把大部分元气心灵齐花在粤菜上，完了法餐练得稀烂。这便是盘问者所说的"跨任务滋扰"和"任务难度失衡"。

第二条路是交替教：先练一个月川菜，再练一个月粤菜，再练一个月法餐。这幸免了同期学习的突破，但带来了另一个著名的贫穷——学完法餐之后，厨师常常把川菜忘了泰半。盘问者把这个风光称为"横祸性渐忘"，在AI考研中一样巨额存在。何况这种方式需要悉心盘算每个阶段的考研决策，相等繁琐。

DiffusionOPD的中枢想路是：把这两个要领透顶停止，先让每个任务孤独培养出一位"专业巨匠"，再由一个"万能学徒"同期向扫数巨匠学习。专业巨匠只需专注我方的领域，互不滋扰；而万能学徒的学习过程也不是从零运转摸索，而是平直从巨匠们的告戒中领受精华。这样一来，既幸免了多任务同期考研的紊乱，也不需要惦念渐忘的问题。

---

二、从谈话模子借来的"在场学习"法

这个想路并非虚拟而来。在大谈话模子（便是近似ChatGPT那类能聊天的AI）领域，有一种叫作念"在线战术蒸馏"的考研要领，一经被讲解相等灵验。它的中枢精神是：学生不应该在安分演示的场景下熟识，而应该在我方践诺生成的内容上，向安分学习每一步何如作念得更好。

打个比方，普通的学习方式像是摹仿字帖——安分写一个字，你照着描。而在线战术蒸馏更像是这样：你我方先写一个字，写完之后安分指着你写的每一笔说"这里应该这样运笔，那儿力说念要轻一些"。这种方式的刚正是，安分的带领永恒针对你我方践诺会犯的谬妄，而不是对着一个联想范本给出与你无关的建议。

盘问团队的第一个责任，便是把这套原来为笔墨AI盘算的要领，移植到图像生成的扩散模子上。这个移植过程并不轻便，因为两者的责任机制有本质不同。笔墨AI每次生成一个词，是从有限的词汇内外选一个；而扩散模子的每一步，是在结合的像素空间里作念眇小转圜，每一步齐是无尽多种可能。

---

三、把图像生成默契成一条"去噪之旅"

要默契DiffusionOPD的数学旨趣，先得了解扩散模子的责任方式。一张图片的生成过程，可以联想成从一团当场噪点起程，一步步把杂质去掉，最终雕刻出了了图像的过程——就像雕镂家濒临一块原石，一刀一刀凿去填塞的部分，最终线路出作品的样式。

这个"去噪"过程可以分红若干要领，每一步，模子齐要预计"下一步应该往哪个场合转圜"。在数学上，这被抒发为一个从现时景况起程、跳到下一个景况的概率漫步——盘问团队将其称为"马尔可夫链上的高斯蜕变核"。

过失在于：在职意一步，学生模子和安分模子天然会预计不同的"转圜场合"，但它们转圜时引入的当场性大小是十足疏浚的。这就梗概两位雕镂家在统一步齐使用疏浚力度的凿子，但凿的位置稍有不同。由于当场性部分十足一样，两者之间的各异就只取决于各自预计的"转圜场合均值"之间的距离。

这个发现相等紧迫，因为它意味着揣度学生和安分在某一步有多不一样，可以精准地用一个简易的数学公式抒发出来——两者预计的"均值"之间的距离平淡，除以要领的当场幅度平淡。这个量叫作念"KL散度"的闭合体式，不需要作念任何近似或当场采样，可以平直精准计较。

整个考研宗旨因此变得相等了了：沿着学生模子我方走出的去噪轨迹，在每一步齐让学生的预计场合尽量围聚对应安分的预计场合，把扫数要领的差距加起来，让这个总差距尽量小。

---

四、为什么无须更流行的"PPO强化学习"

熟悉AI考研的读者可能会问：强化学习里有一种相等流行的算法叫PPO（近端战术优化），它一经被凡俗用于扩散模子的考研，为什么这里要换一种方式？

盘问团队对这个问题作念了详细的数学分析。他们发现，若是把每一步的KL散度行动一个奖励信号，再用PPO来优化，名义上看起来行得通，但背后会有一个问题：PPO的梯度计较中，除了一个有用的"场合梯度"除外，还多出了一个非常的项，这个项的体式是"当场噪声乘以梯度"。

从数学上看，这个填塞的项在盼望敬爱下第于零——也便是说平均而言它不会指错场合。但它的存在大大增多了每次梯度推测的抖动进度，就像你在黢黑顶用手电筒找路，手电筒自身的踏实性变差了，天然平均映照场合没错，但每一步齐在傍边浪荡，走起来天然更慢、更容易走偏。

比较之下，平直优化阿谁可以精准计较的KL散度公式，梯度就十足来自笃定性的预计均值，莫得任何非常噪声。两种要领在盼望上等价，但一个稳，一个抖，考研后果天然不同。

除此除外，PPO的框架依赖于"当场战术"的倡导——模子必须能对每个动作输出一个概率密度，然后计较紧迫性比例。但关于扩散模子的笃定性ODE采样器（一种不引入非常当场性的采样方式）来说，根底不存在这样的概率密度，PPO就没法用了。而平直优化KL散度公式的方式，对SDE（当场微分方程，有当场性）和ODE（常微分方程，无当场性）两种采样器齐十足适用，开云(中国)2026世界杯手机app下载登录是一个更通用的框架。

---

五、具体何如考研：两阶段活水线

整个DiffusionOPD的考研进程分为两个阶段，可以用"培养各人，再培养全才"来详细。

第一阶段是孤独培养每位专业安分。盘问团队为三类任务各考研了一个挑升的模子。第一类是"构图默契"任务，使用GenEval评测体系，揣度模子能否正确默契"苹果在篮子左边""斑马在消防栓右边"这类空间干系，这个安分用DiffusionNFT算法考研，因为它在这个任务上敛迹更快、上限更高。第二类是"笔墨渲染"任务，揣度模子能否在图片中准确生成指定的笔墨，这个安分用GRPO-Guard算法考研，因为DiffusionNFT在这个任务上容易"走捷径"——通过误解图片来刷高分数，而不是真实学会写字。第三类是"好意思不雅度"任务，综合PickScore、ClipScore和HPSv2.1三个评分维度，一样用GRPO-Guard考研。三位安分各自孤独考研，互不滋扰，每东说念主只需专注我方的专长。

第二阶段是万能学徒的在线学习。学生模子从原始的预考研扩散模子起程，按照轮询方式一一向每位安分学习。每轮学习的具体进程如下：关于某个任务，先从对应的领导词数据集里取一批笔墨描写，然后用现时的学生模子（不更新参数，只生成轨迹）作念一次齐全的去噪生成，得到这条"在线轨迹"。接着，让对应的安分模子在一样的轨迹景况点上作念预计，计较每一步的均值差距，把扫数要领的差距加总。交替对三个任务齐完成这个计较，把三个任务的厌世加在通盘，支援作念一次反向传播更新学生参数。这种在整轮轮回扫尾后才作念一次参数更新的方式，确保每次更新齐充分反馈了三个任务的综合需求，幸免模子偏向某一个任务。

---

六、实验完了：到底好若干

盘问团队在一套粉饰两类章程奖励和六类模子奖励的综合评测体系上进行了对比实验，基础模子是Stable Diffusion 3.5 Medium，分辨率为512×512。

章程类奖励包括GenEval（构图默契，满分1.0）和OCR（笔墨渲染，亦然满分1.0）。模子类奖励包括PickScore（东说念主类偏好评分）、ClipScore（图文匹配度）、HPSv2.1（另一种东说念主类偏好评分）、Aesthetics（好意思不雅度，满分10分）、ImageReward（图像综合奖励）和UnifiedReward（多模态支援奖励）。

对比基准粉饰了多个眉目。起程点是三位单任务安分我方的发达，可以看到每位安分确乎只在我方的专长领域隆起：构图安分GenEval达到0.96但好意思不雅度独一5.24，笔墨安分OCR达到0.93但GenEval独一0.65，好意思不雅安分PickScore达到24.02但GenEval独一0.49。其次是两种齐集考研的多任务强化学习要领：Multi-Task GRPO-Guard和Multi-Task NFT，两者永诀需要约130小时GPU时辰，综合平平分永诀为0.763和0.715。再次是级联考研要领Cascade NFT，交替在三个任务上轨则微调，耗时约148小时，综合平平分达到0.851，一经稀奇可以，但依然存在横祸性渐忘的问题，且考研进程最为繁琐。

DiffusionOPD的完了则是：综合平平分达到0.929，卓绝扫数基准。具体来看，GenEval为0.96（与单任务安分执平），OCR为0.94，PickScore为23.99，HPSv2.1为0.342，Aesthetics为6.15，ImageReward为1.50，UnifiedReward为3.50。更紧迫的是，DiffusionOPD所用的总考研时辰为安分最长考研时辰（好意思不雅安分85.75小时）加上蒸馏考研时辰（11.26小时），系数约97小时，远少于级联NFT的148小时，也少于齐集考研要领的130小时傍边。

从敛迹弧线上看，多任务齐集考研要领的PickScore增长弧线昭着比单任务安分的考研弧线更舒适，阐述多任务滋扰确乎严重拖慢了学习速率。DiffusionOPD的弧线则从一运转就呈现出较快的爬升趋势，最终踏着实0.914隔邻，比级联NFT的0.903还跨越一截。

---

七、消融实验：哪些盘算遴荐真实灵验

盘问团队还通过一系列"完了变量"实验考据了过失盘算遴荐的后果。

第一组对比是不同的蒸馏要领。盘问团队在疏浚的老练模子和疏浚的在线轨迹采样方式下，永诀尝试了DMD（漫步匹配蒸馏）、TDM（轨迹漫步匹配）、SFT（有监督微调，即让学生平直效法安分生成的图片）以及DiffusionOPD自身。其中SFT是离线的——用安分事先生成的图片来监督学生，而不是在学生我方的轨迹上作念监督。实验完了自大，DiffusionOPD在GenEval、OCR和PickScore三个目的上均获取了最快的敛迹速率和最高的性能上限，尤其在早期考研阶段就昭着最初其他要领。

第二组对比是厌世函数的体式。在十足疏浚的采样噪声水平（a=0.7）下，平直优化闭合体式KL散度与使用PPO作风战术梯度的后果进行对比。完了如表面分析所预期：在疏浚噪声水平下，闭合KL宗旨比PPO要领敛迹更快、最终分数更高，考据了减少梯度方差确乎带来了践诺收益。

第三组对比是采样器的噪声水平。盘问团队永诀测试了噪声水平a等于0.7、0.5、0.3以及十足无噪声的ODE采样器（稀奇于a=0）。实验完了相等了了：噪声水平越低，敛迹速率越快，最终性能越高。使用ODE采样器（无噪声）的版块，比噪声水平为0.7的SDE版块快出约五倍，这与表面分析高度一致——噪声越小，每步的KL推测越精准，梯度信号越干净。这亦然为什么DiffusionOPD默许使用笃定性ODE采样器来进行蒸馏考研。

---

归根结底，DiffusionOPD作念的事情可以用一句话详细：先让每个妙手各自雕镂，再让一个学徒同期随着扫数妙手通盘练，何况学徒的熟识场景十足来自我方践诺操作，而非照着妙手的范本形色。这种想路在实行中带来了双重收益——考研更快，后果更好，何况从表面上也有严格的数学撑执阐述为什么这样作念灵验。

关于普通用户而言，这项盘问意味着畴昔的AI绘制用具有望在单一模子内同期扫尾更准确的笔墨渲染、更合理的空间构图和更高的视觉好意思不雅度，而不需要为每个需求单独切换不同的模子版块。天然，当今这套要领的考据主要齐集在512×512分辨率的SD3.5-Medium模子上，能否平滑扩张到更大范围的模子和更高分辨率，是一个值得进一步探索的开放问题。另外，老练模子的质地上限平直决定了学生能达到的高度，怎样培养出更强的单任务老练，一样是这一框架畴昔发展的紧迫场合。感意思意思的读者可以通过arXiv:2605.15055进一步查阅齐全的论文原文。

---

Q&A

Q1：DiffusionOPD和普通多任务强化学习有什么本质区别？

A：普通多任务强化学习让一个模子同期学多个任务，不同任务的考研信号会相互滋扰，还容易偏向轻便任务。DiffusionOPD先为每个任务单独考研一个各人模子，再让一个支援的学生模子沿着我方的生成轨迹，渐渐向各各人模子逼近。这样各人考研时互不滋扰，学生学习时也不需要从零摸索，完了是考研更快、后果更好。

Q2：扩散模子考研中"在线战术"和"离线战术"有什么区别？

A：离线战术是让安分先生成一批图片，再让学生照着效法，就像摹仿字帖。在线战术是让学生我方先走一遍生成过程，然后安分针对学生践诺走的每一步给出雠校建议。DiffusionOPD用的是在线战术，安分的带领永恒瞄准学生我方践诺犯错的地方，因此比离线方式更有针对性，敛迹也更快。

Q3：DiffusionOPD为什么默许用ODE采样器而不是SDE采样器？

A：SDE采样器每步齐会注入非常的当场噪声开云中国2026世界杯app登录入口，导致对考研梯度的推测产生非常抖动，就像在轰动的路上开车，场合不稳。ODE采样器不引入非常噪声，每步的梯度信号更干净。实验标明，ODE采样器比高噪声SDE采样器的考研遵循跨越约五倍，因此被确立为默许选项。