何恺明研究团队的最新工作提出了一种在概念上完全不同的范式「漂移模型Drifting Model」不依赖扩散模型与流模型中常见的微分方程表述天然支持一步推理并构建了一种训练目标使得神经网络优化器能够直接推动分布的演化。训练一个生成模型是很复杂的一件事儿。从底层逻辑上来看生成模型是一个逐步拟合的过程。与常见的判别类模型不同判别类模型通常关注的是将单个样本映射到对应标签而生成模型则关注从一个分布映射到另一个分布。从大家最熟悉的扩散模型说起扩散模型包括一些基于流的对应方法通常通过微分方程随机微分方程 SDE 或常微分方程 ODE来刻画从噪声到数据的映射。但训练扩散模型是一件费时费力的事情因为其核心计算过程是一个迭代过程。为了尽可能提升生成模型的效率大量工作致力于减少扩散的步数。比较有代表性的一类是蒸馏方法将一个预训练的多步模型蒸馏为单步模型。另一类研究则尝试从零开始训练单步扩散模型。例如变分自编码器VAE通过优化证据下界ELBO进行训练该目标由重建损失和 KL 散度项组成。在采用高斯先验时经典 VAE 本身就是一步生成模型。然而在当今主流应用中VAE 往往使用由扩散模型或自回归模型学习得到的先验此时 VAE 更多地充当分词器的角色。正则化流Normalizing Flows, NFs学习从数据到噪声的映射并通过最大化样本的对数似然进行训练。这类方法要求模型结构可逆且能够显式计算雅可比行列式。从概念上看正规化流在推理阶段是一步生成器生成过程通过网络的逆映射完成。这些方法仍然无法摆脱持续迭代的训练过程的桎梏。相比之下何恺明研究团队的最新工作提出了一种在概念上完全不同的范式「漂移模型Drifting Model」不依赖扩散模型与流模型中常见的微分方程表述天然支持一步推理并构建了一种训练目标使得神经网络优化器能够直接推动分布的演化。论文标题Generative Modeling via Drifting论文链接https://arxiv.org/abs/2602.04770v1漂移模型漂移模型训练示意图在本文中研究团队提出了一种新的生成建模范式 —— 漂移模型。漂移模型的核心特征在于推送pushforward映射在训练过程中不断演化从而不再需要迭代式的推理过程。映射 f 由一个单次前向、非迭代的网络来表示。由于深度学习中的训练过程本身就是迭代优化的因此可以自然地将其视为通过不断更新 f来演化推送分布如图所示网络 f 执行一次推送pushforward操作, 将先验分布例如高斯分布图中未显示映射为推送分布 q橙色。训练的目标是使该分布逼近真实数据分布蓝色。随着训练过程的迭代会得到一系列模型对应地也产生一系列推送分布。漂移模型的核心关注点在于训练过程中这一推送分布的演化轨迹。为了驱动训练阶段推送分布的演化研究团队引入了一个漂移场drifting field来控制样本的运动。该漂移场依赖于生成分布和数据分布。当这两个分布一致时根据定义漂移场为零系统达到平衡态样本不再发生漂移。漂移场示意图生成的样本 黑色根据向量 p−q− 进行漂移。这里 p 是正样本蓝色的均值偏移向量 q− 是负样本橙色的均值偏移向量。 被 p 吸引同时被 q− 排斥。基于这一表述研究团队提出了一种简单的训练目标用于最小化生成样本的漂移。目标函数如下该目标会诱导样本产生移动并通过迭代优化过程如 SGD推动底层推送分布的演化。在这里我们不再描述漂移模型的细节感兴趣的读者请参阅原论文。实验结果实验验证涵盖多个领域和规模为该方法的有效性提供了全面证据。漂移模型天然支持单步生成1-NFE并在实验中展现出强大的性能。在 ImageNet 256×256 上在标准的潜空间生成协议下研究团队获得了 1-NFE FID 1.54在单步生成方法中取得了新的 SOTA且该结果即便与多步的扩散模型相比也依然具有竞争力。进一步地在更具挑战性的像素空间生成协议即不使用潜变量下本文方法达到了 1-NFE FID 1.61显著优于此前的像素空间方法。这些结果表明漂移模型为高质量且高效率的生成建模提供了一种极具潜力的新范式。上图展示了一个二维玩具示例在三种不同初始化条件下生成分布 q 在训练过程中逐步演化并最终逼近一个双峰分布 p。在这一玩具实验中本文的方法能够在不出现模式坍塌的情况下逼近目标分布。即使在 q 被初始化为坍塌到单一模态的状态图中下方所示时这一性质仍然成立。这为本文的方法为何对模式坍塌具有鲁棒性提供了直观解释当 q 坍塌到某一个模态时目标分布 p 中的其他模态仍会对样本产生 “吸引力”促使样本继续移动从而推动 q 持续演化。该实验展示了对多模态目标分布的稳健收敛同时避免了模式崩溃即使在从崩溃状态初始化的情况下。此外研究团队在 ImageNet 256×256 上评估了所提出的模型。在表 1 中研究团队进行了一个破坏性消融实验刻意打破这一反对称性设定。结果表明满足反对称性的情况即默认设置表现良好而其他破坏该性质的设定则性能灾难性崩溃。本文的方法通过采样正样本和负样本来估计向量场 V 。在表 2 中研究团队在固定训练 epoch 数和固定 batch size B 的条件下研究了正样本数和负样本数的影响。表 2 显示更大的和能够带来更好的效果。更大的样本规模有助于更准确地估计 V 从而提升生成质量。表 3 的对比结果表明特征编码器的质量起着至关重要的作用。研究团队还训练了更强的模型变体并在表 4 中进行了汇总与以往方法的对比见表 5。本文方法在原生 1-NFE 生成条件下取得了 1.54 的 FID超过了此前所有基于扩散 / 流轨迹近似的 1-NFE 方法。值得注意的是本文中的 Base 尺寸模型即可与此前的 XL 尺寸模型相竞争。表 6 对比了不同的像素空间生成器。本文的一步像素空间方法取得了 1.61 的 FID在性能上超过或可与此前的多步方法竞争。与其他一步像素空间方法如 GAN相比本文的方法仅使用 87G FLOPs 即可达到 1.61 FID而 StyleGAN-XL 则需要 1574G FLOPs 才能达到 2.30 FID。总结漂移模型解决了生成式 AI 中质量与效率之间的基本权衡问题。传统的优质模型如扩散模型取得了优异的结果但在推理过程中计算成本高昂。这项工作表明在大幅降低计算需求的情况下可以达到相似的质量有可能使以前受推理速度限制的实时应用成为可能。该方法还强调了生成建模中鲁棒特征表示的重要性。预训练特征提取器的关键作用表明自监督学习的进步直接有益于这一范式在表示学习和生成之间建立了协同效应。该方法在不同领域从高分辨率图像合成到复杂的机器人控制的成功表明通过漂移场进行分布演变的核心原理可能广泛适用于各种生成任务为高效生成建模开辟了新的研究方向。更多细节请参阅原论文。