AITOP

扩散模型

共 145 条相关 AI 资讯
5月21日
10:22
10:22官方账号arXiv cs.LG@Kesong Li, Yixuan Xu, Kuo-kun Tseng, Weiyi Lu, Kan Liu, Tao Lan
精选
Linear-DPO 提出了一种新的直接偏好优化（DPO）方法，解决了现有 DPO 在文本到图像生成中的两大问题：仅适用于扩散模型而忽略流匹配，以及离散 NLP 的 DPO 目标与回归生成任务不匹配。论文通过统一的逆向 SDE 框架推导出覆盖扩散和流匹配的广义 DPO 目标，并从梯度角度指出标准 DPO 目标次优。Linear-DPO 用持续线性效用函数替代激进的 sigmoid 函数，并引入 EMA 更新的参考模型。在扩散模型（SD1.5、SDXL）和流匹配模型（SD3-Medium）上的实验表明，该方法优于现有基线。
论文DPO扩散模型流匹配
推荐理由：做文本到图像生成的团队终于有了更稳定的对齐方法——Linear-DPO 统一了扩散和流匹配，解决了 DPO 在生成任务中的目标不匹配问题，做图像生成微调的建议试试。
原文
5月20日
11:37
11:37官方账号arXiv cs.LG@Parsa Esmati, Junha Hyung, Amirhossein Dadashzadeh, Jaegul Choo, Majid Mirmehdi
精选
扩散和流生成模型依赖引导机制对齐样本与用户输入，但现有方法如无分类器引导（CFG）是启发式的速度/分数线性组合，忽略生成流形几何，导致概率不守恒，强引导下样本偏离流形。研究者通过连续性方程分析引导，将其分解为散度项和分数平行项，并证明散度项在接近数据流形时结构性地发散。基于此提出自适应流形引导（AdaMaG），通过时间依赖调度和分数平行衰减同时约束两项，无需额外推理成本。实验表明，AdaMaG在图像生成基准上提升真实感、减少幻觉，并在高引导强度下实现受控去饱和。
论文扩散模型流生成模型引导机制
推荐理由：做图像生成的开发者终于有了理论扎实的引导方法——AdaMaG解决了CFG强引导下样本失真和幻觉问题，直接提升生成质量，建议做扩散模型的团队试试。
原文
11:06
11:06官方账号arXiv cs.LG@Keanu Nichols, Divya Appapogu, Giscard Biamby, Dina Bashkirova, Anna Rohrbach, Bryan A. Plummer
精选
随着生成式 AI 的普及，图像篡改变得愈发容易，可能传播虚假信息。然而，现有研究缺乏针对不同视觉域中高级篡改的检测方法。为此，研究者提出了 AUDITS 基准，包含超过 53 万张来自用户和新闻照片的图像，利用扩散模型进行修复，支持对篡改类型、大小、质量及域迁移的多轴分析。实验评估了现有检测方法在不同域迁移下的鲁棒性，旨在推动更可靠、泛化的图像篡改检测研究。
论文图像篡改检测AUDITS 基准扩散模型
推荐理由：图像篡改检测是 AI 安全的关键环节，AUDITS 为研究者提供了首个大规模多轴基准，做视觉取证或 AI 安全的人可以直接用它来评估和提升模型鲁棒性。
原文
10:35
10:35官方账号arXiv cs.AI@Hyunsoo Han, Sangyeop Yeo, Jaejun Yoo
精选
该研究提出了一种名为 LIFT and PLACE 的知识蒸馏框架，用于训练轻量级扩散模型。LIFT 将蒸馏过程分解为粗对齐和细调优两个阶段，先让学生模型学习教师模型的整体分布，再处理细节。PLACE 则通过分组自适应系数处理空间非均匀误差，进一步提升了蒸馏效果。实验表明，该方法在图像/潜空间、U-Net/DiT 骨干网络、条件/无条件生成等场景下均有效，甚至在极端压缩（学生模型仅 1.3M 参数，为教师的 1.6%）时，传统蒸馏方法失效（FID 高达 50-200+），而新方法仍能稳定收敛并达到 FID 15.73。
论文知识蒸馏扩散模型模型压缩
推荐理由：做扩散模型轻量化或模型压缩的团队，终于有了一个在极端压缩下仍能稳定训练的蒸馏方案，值得直接复现实验。
原文
08:44
5月19日
14:41
14:41官方账号arXiv cs.LG@Lifu Wei, Yinuo Ren, Naichen Shi, Yiping Lu
精选
URGE（Unbiased Resampling via Girsanov Estimation）是一种无偏、无梯度的推理时缩放算法，用于扩散生成模型。它通过Girsanov测度变换对模拟轨迹进行路径重要性重加权，并定期重采样，无需计算分数、Hessian或PDE。该方法避免了现有技术中的偏差和高计算开销，在合成测试和扩散模型基准上优于现有推理时引导方法，且实现更简单。URGE建立了路径与粒子级序贯蒙特卡洛之间的等价性，确保两种方案产生相同的无偏终端分布。
论文扩散模型推理时引导无梯度方法
推荐理由：URGE解决了扩散模型推理时引导的计算瓶颈，做生成模型优化或采样加速的研究者可以直接用这个梯度无关的轻量方案，值得关注。
原文
11:44
11:44官方账号arXiv cs.AI@Mengyu Sun, Ziyuan Yang, Zunlong Zhou, Junxu Liu, Haibo Hu, Yi Zhang
精选
扩散模型在文本到图像生成中广泛应用，但概念擦除方法常被用于移除不安全内容。然而，研究表明这些方法往往只是抑制而非彻底消除目标概念，模型仍易受唤醒攻击。现有方法多依赖白盒访问，黑盒场景下的概念唤醒尚未被充分探索。本文提出ConceptAgent，一种无需训练的黑盒多智能体框架，通过从代理引导的噪声状态初始化去噪轨迹，成功唤醒被擦除的概念。实验表明，该方法在黑盒设置下无需模型参数或梯度即可实现准确可控的概念唤醒，揭示了当前概念擦除方法的根本局限性。
论文扩散模型概念擦除多智能体框架
推荐理由：做AI安全或内容审核的团队会发现，当前概念擦除方法存在根本漏洞——ConceptAgent无需模型内部信息就能绕过防御。做扩散模型研究的开发者值得看看这篇，它揭示了语义控制动态性的新视角。
原文
11:17
11:17官方账号arXiv cs.LG@Yuta Koike
精选
该论文从 Föllmer 过程视角重新分析了去噪扩散概率模型（DDPM）的采样误差，在 2-Wasserstein 距离下给出了更紧的误差上界。主要贡献包括：在 Lipschitz 型分数函数假设下，对余弦调度等方差调度方案建立了维度与步数最优的误差界；证明了这些条件蕴含对数 Sobolev 不等式，从而将 KL 散度的最优误差界转化为 Wasserstein 界；对于一般对数凹目标分布，即使不满足二次运输成本不等式，也能达到最优 Wasserstein 误差界。该工作统一并改进了现有文献中的多个误差界结果。
论文扩散模型DDPM采样误差界
推荐理由：做扩散模型理论或采样加速的读者值得关注——这篇用 Föllmer 过程替代传统反向 OU 过程，给出了更紧的 Wasserstein 误差界，对理解 DDPM 的采样质量与步数关系有直接帮助。
原文
11:01
11:01官方账号arXiv cs.LG@Grigory Bartosh, David Ruhe, Emiel Hoogeboom, Jonathan Heek, Thomas Mensink, Tim Salimans
精选
Dual-Rate Diffusion 提出了一种新的扩散模型加速方法，通过交错执行一个稀疏更新的重上下文编码器和一个轻量去噪模型来降低推理成本。重编码器每几步提取一次高维特征，轻量模型则在每一步复用这些特征进行高效去噪。在 ImageNet 基准上，该方法在保持生成质量的同时将计算成本降低 2-4 倍。此外，该方法与蒸馏技术（如 Moment Matching Distillation）兼容，可进一步加速少步生成。
论文扩散模型推理加速ImageNet
推荐理由：扩散模型推理慢是落地痛点，Dual-Rate Diffusion 用轻量网络复用特征，做图像生成的团队可以直接拿来加速现有模型，效果不打折。
原文
10:13
10:13官方账号arXiv cs.AI@Shuyin Ouyang, Zhaozhi Qian, Faroq AL-Tam, Muhammad AL-Qurishi, Jie M. Zhang
精选
该论文系统研究了扩散语言模型在代码生成中的强化学习后训练，重点探索了三种维度：奖励设计、提示条件采样和任务难度。研究发现，静态检查作为无需执行的奖励信号，在HumanEval上使DiffuCoder从53.9提升至67.1，在LiveCodeBench上从14.9提升至15.5，同时减少9.4%的推理时间。中等程度的AST提示在困难任务上最有效，而奖励设计的最佳选择依赖于任务难度：相似度奖励在简单子集上更优，静态检查在困难子集上更可靠。这些发现表明，奖励设计和训练指导显著影响扩散RL在代码生成中的表现。
论文代码生成强化学习扩散模型
推荐理由：做代码生成模型训练的团队会发现，静态检查奖励比执行测试更高效且能避免能力悬崖，建议在困难任务上优先采用。
原文
5月15日
23:12
23:12官方账号AlphaSignal@AlphaSignalAI
精选73°
研究人员提出Embedded Language Flows方法，让扩散模型在文本生成任务上仅需传统方法十分之一的数据量即可达到更优性能。该方法全程在连续嵌入空间操作，仅在最后一步将向量转换为单词，无需单独的解码器。通过预测干净嵌入而非噪声，并在训练中应用无分类器引导，该方法在语言基准测试中困惑度更低，并在翻译和摘要任务上超越自回归模型。这一成果挑战了“连续扩散在语言领域行不通”的普遍认知。
论文扩散模型文本生成连续嵌入
推荐理由：扩散模型终于能高效处理文本了，做NLP或生成式AI的团队可以关注这个新范式——数据需求降低10倍，性能反而更好，值得一试。
原文
00:24
5月14日
16:33
16:33IT之家（博客/媒体）
据路透社报道，微软正积极物色人工智能初创企业，为未来减少对OpenAI的依赖做准备。潜在收购旨在储备AI人才并打造顶尖模型，曾考虑收购代码生成公司Cursor但因监管担忧放弃。微软还与斯坦福团队创立的Inception洽谈，该公司采用扩散模型技术研发文本生成，估值期望超10亿美元。微软对OpenAI的累计投入已超1000亿美元，但双方矛盾渐显，近期协议已放宽限制。收购竞争激烈，SpaceX等对手也在争夺同一标的。
行业微软OpenAI收购
事件专题
推荐理由：微软的收购动向直接反映AI行业格局变化，做AI战略或投资的读者值得关注——这可能是微软自研模型的关键一步，也暗示OpenAI合作关系的松动。
原文
13:26
13:26官方账号arXiv cs.LG@Zhonghao Li, Chaoyu Liu, Qian Zhang
精选
Di-BiLPS 是一种新型神经网络框架，专门解决在观测数据极度稀疏（低至3%）时偏微分方程（PDE）的正向和逆向问题。它结合了变分自编码器压缩高维输入、潜变量扩散模块处理不确定性，以及对比学习对齐表征，所有操作在紧凑的潜空间中进行，大幅提升推理效率。实验表明，在多个PDE基准上，Di-BiLPS在极稀疏输入下达到最先进性能，同时计算成本显著降低。此外，该框架支持零样本超分辨率，可在连续时空域进行预测。
论文PDE求解稀疏观测潜变量模型
推荐理由：PDE求解在稀疏观测场景下一直是个难题，Di-BiLPS用潜空间扩散和对比学习解决了精度和效率的双重瓶颈。做科学计算或物理模拟的开发者，尤其是处理传感器数据稀疏的团队，值得关注这个新范式。
原文
13:26
13:26官方账号arXiv cs.LG@Zijie Wu, Lixin Xu, Puhua Jiang, Sicong Liu, Chunchao Guo, Xiang Bai
精选
R-DMesh 提出了一种解决视频引导3D动画中姿态错位问题的统一框架。传统方法在用户提供的静态网格与参考视频起始帧姿态不匹配时，会导致几何扭曲或动画失败。R-DMesh 通过引入新型 VAE 将输入解耦为条件基础网格、相对运动轨迹和矫正跳跃偏移，并利用 Triflow Attention 机制确保物理一致性和局部刚性。该方法基于 Rectified Flow 的扩散 Transformer 从预训练视频中迁移时空先验，并构建了包含50万动态网格序列的 Video-RDMesh 数据集。实验表明，R-DMesh 有效解决了姿态对齐问题，并支持姿态重定向和整体4D生成等下游应用。
论文3D动画姿态对齐扩散模型
推荐理由：做3D动画和内容生成的团队终于有了解决姿态错位痛点的方案——R-DMesh 能自动矫正网格姿态对齐视频，避免手动调整的繁琐，建议做动态资产制作的开发者点开看看。
原文
5月13日
19:12
19:12官方账号arXiv cs.AI@Guohui Zhang, XiaoXiao Ma, Jie Huang, Hang Xu, Hu Yu, Siming Fu, Yuming Li, Zeyue Xue, Lin Song, Haoyang Huang, Nan Duan, Feng Zhao
精选
OmniNFT 提出了一种面向联合音视频生成的扩散强化学习框架，解决了多目标强化学习中优势不一致、梯度失衡和信用分配不均三大问题。该方法通过模态级优势路由、层级梯度手术和区域级损失重加权，显著提升了音频和视频的感知质量、跨模态对齐和音视频同步。在 JavisBench 和 VBench 基准测试中，基于 LTX-2 骨干的 OmniNFT 实现了全面性能提升。该工作为多模态生成任务中的强化学习应用提供了新范式。
论文扩散模型强化学习多模态生成
推荐理由：做多模态生成或音视频联合建模的团队，终于有了一个能同时优化模态内质量和跨模态对齐的 RL 框架，值得关注其方法论对自家任务的迁移潜力。
原文
5月12日
19:11
19:11官方账号arXiv cs.LG@Wei Chow, Linfeng Li, Xian Sun, Lingdong Kong, Zefeng Li, Qi Xu, Hang Song, Tian Ye, Xian Wang, Jinbin Bai, Shilin Xu, Xiangtai Li, Junting Pan, Shaoteng Liu, Ran Zhou, Tianshu Yang, Songhua Liu
最近，研究者提出了一种基于掩码生成Transformer（MGT）的图像编辑新方法EditMGT，这是首个MGT编辑框架。与主流的扩散模型不同，MGT的局部化预测机制能天然将修改限制在目标区域，避免编辑结果扩散到其他部分。该方法通过多层注意力合并和区域保持采样实现精准编辑，并构建了包含200万高分辨率样本的数据集CrispEdit-2M。在多个基准测试中，EditMGT在仅96亿参数下实现了领先的图像相似度，编辑速度快了6倍。这表明MGT是扩散模型编辑的有力替代方案。
论文图像编辑掩码生成Transformer扩散模型
推荐理由：这项工作为图像编辑提供了一个全新思路，其局部化编辑特性和显著速度优势可能推动实用编辑工具的开发，值得关注。
原文
19:10
19:10官方账号arXiv cs.AI@Keya Hu, Linlu Qiu, Yiyang Lu, Hanhong Zhao, Tianhong Li, Yoon Kim, Jacob Andreas, Kaiming He
研究者提出ELF（Embedded Language Flows）模型，将连续流匹配应用于语言建模。与现有主要在离散词元上操作的扩散语言模型不同，ELF在连续嵌入空间中运行，仅在最后一步通过共享权重网络映射为离散词元。该方法可简单适配图像扩散领域的成熟技术（如无分类器引导）。实验显示，ELF在生成质量和采样步数上均显著优于当前领先的离散和连续扩散语言模型，为高效连续语言模型提供了新方向。
论文流匹配扩散模型语言建模
推荐理由：ELF展示了连续扩散模型在语言建模中的有效性，简化了技术迁移路径，可能降低语言生成模型的设计复杂度。其较少的采样步数有利于实际应用效率，值得关注。
原文
19:10
19:10官方账号arXiv cs.AI@Md. Sultan Al Rayhan, Maheen Islam
本文提出一种基于自信度引导的扩散增强框架，用于改善低分辨率孟加拉手写复合字符识别。该框架结合类别条件扩散建模与分类器引导，合成高质量手写样本。在U-Net结构中加入Squeeze-and-Excitation残差块提升生成质量，并采用自信度过滤机制保留高一致性样本。在AIBangla数据集上，ResNet50、DenseNet121、VGG16和Vision Transformer均取得一致提升，最佳模型准确率达89.2%，大幅超越此前基准。这表明质量感知的扩散增强能有效提升低资源语种文字识别性能。
论文低资源语种手写识别扩散模型
推荐理由：该研究为低资源语种手写识别提供了一种实用的数据增强思路，结合扩散模型与自信度过滤，方法通用且效果显著，对同类任务有参考价值。
原文
5月11日
22:16
22:16AK@_akhaliq
该论文提出了一种连续潜在扩散语言模型（Continuous Latent Diffusion Language Model），将扩散模型应用于语言建模的潜在空间。与传统自回归模型不同，该方法在连续潜在空间中进行迭代去噪，可能提升生成质量和效率。论文展示了模型在文本生成任务上的初步结果，为语言建模提供了新的研究方向。这一工作将视觉领域成功的扩散模型扩展到自然语言处理，具有重要的理论意义和实践潜力。
论文扩散模型语言模型论文
推荐理由：这是扩散模型应用于语言建模的又一探索，为NLP领域提供了非自回归的新思路，值得关注其在文本生成和编辑等场景的后续进展。
原文
22:16
22:16
11:43
11:43官方账号arXiv cs.LG（学术论文）
PET-Adapter是一种针对PET图像重建的测试时域自适应框架，用于生成式PET重建模型。该框架仅需在体模数据上预训练，即可适配到不同解剖结构、示踪剂和扫描仪的临床数据集，无需配对真值。它通过逐层低秩解剖条件调制和基于有序子集期望最大化的热启动，将扩散步骤从50步减少到2步，显著提升计算效率。在多个临床数据集上的实验表明，该方法在全角度和有限角度设置下均实现了优越的3D重建性能，验证了其临床可行性和计算优势。
论文图像重建PET-Adapter测试时自适应
推荐理由：该研究通过测试时自适应解决了深度学习PET重建模型的泛化困境，显著降低了计算成本，为临床实时部署提供了可行方案。
原文
11:43
11:43官方账号arXiv cs.LG（学术论文）
字节级语言模型（BLT）虽匹配词元级模型性能，但逐字节自回归生成速度慢。本文提出三种加速方法：BLT Diffusion（BLT-D）用辅助扩散目标并行生成多个字节；BLT Self-speculation（BLT-S）通过推测解码扩展补丁边界并验证；BLT Diffusion+Verification（BLT-DV）结合扩散与自回归验证。所有方法在生成任务上估计内存带宽成本降低超50%，消除字节级模型实用化障碍。
论文字节级模型推理加速扩散模型
推荐理由：该工作直接解决字节级LLM的核心效率瓶颈，提出的混合推理策略（扩散+推测解码）为无分词器模型走向实际应用提供了可行路径。
原文
11:42
11:42官方账号arXiv cs.LG（学术论文）
本研究提出 Normalizing Trajectory Models (NTM)，一种新型生成模型框架。传统扩散模型假设多步高斯去噪，在少步采样时失效；现有少步方法依赖蒸馏、一致性训练或对抗目标，但放弃了似然框架。NTM 将每个逆向步骤建模为条件标准化流，并用深层并行预测器连接整个轨迹。该模型可通过预训练流匹配模型初始化，利用精确轨迹似然进行自蒸馏，仅需四步即可生成高质量文本到图像样本。在基准测试中，NTM 在四步内匹配或超越了强基线模型，同时保留了可计算的似然。
论文标准化流扩散模型少步生成
推荐理由：NTM 通过将标准化流与轨迹建模结合，在少步生成和无似然性能间取得平衡，为扩散模型加速提供了新思路。对需要快速推理且关注可解释性的应用（如实时图像生成）具有实际意义。
原文