AITOP
精选
AI 自动挑选的高价值内容
全部模型产品行业论文技巧
标签：生成模型×
5月20日
11:13
arXiv cs.LG@Yuchen Wu, Kangjie Zhou, Weijie Su
精选58
本文研究了在结构化交互学习环境中，生成模型因反复使用其他模型生成的合成数据而导致性能退化（模型崩溃）的条件。作者用有向图形式化模型间的交互模式，发现模型崩溃的发生关键取决于交互图的拓扑结构。他们推导出模型崩溃发生的充要条件，并为线性回归和一般M估计器建立了有限样本和渐近理论保证。这项研究填补了此前仅关注单模型自训练而忽略多模型交互场景的空白。
论文模型崩溃交互学习生成模型有向图统计学习
推荐理由：做生成模型训练或数据增强的团队，这篇论文帮你搞清楚多模型交互时什么时候会踩坑——交互图拓扑是决定因素，值得仔细看看理论条件。
5月19日
11:01
arXiv cs.LG@Grigory Bartosh, David Ruhe, Emiel Hoogeboom, Jonathan Heek, Thomas Mensink, Tim Salimans
精选58
Dual-Rate Diffusion 提出了一种新的扩散模型加速方法，通过交错执行一个稀疏更新的重上下文编码器和一个轻量去噪模型来降低推理成本。重编码器每几步提取一次高维特征，轻量模型则在每一步复用这些特征进行高效去噪。在 ImageNet 基准上，该方法在保持生成质量的同时将计算成本降低 2-4 倍。此外，该方法与蒸馏技术（如 Moment Matching Distillation）兼容，可进一步加速少步生成。
论文扩散模型推理加速ImageNet蒸馏生成模型
推荐理由：扩散模型推理慢是落地痛点，Dual-Rate Diffusion 用轻量网络复用特征，做图像生成的团队可以直接拿来加速现有模型，效果不打折。
10:58
arXiv cs.LG@Grigory Bartosh, Teodora Pandeva, Sushrut Karmalkar, Javier Zazo
精选58
离散扩散模型在多个领域表现优异，但传统方法使用固定马尔可夫加噪链，导致生成过程需要大量采样步骤，计算成本高。本文提出 Forward-Learned Discrete Diffusion (FLDD)，引入可学习的非马尔可夫加噪过程，使生成过程在保持因子化分布的同时，能更高效地匹配目标分布。通过端到端训练所有参数，FLDD 在相同采样步数下生成质量显著优于传统离散扩散模型。实验表明，该方法在图像、文本等基准上均能实现少步高质量生成，有望加速离散扩散模型的实际应用。
论文离散扩散模型少步生成可学习加噪生成模型FLDD
推荐理由：离散扩散模型终于有了加速方案——FLDD 用可学习加噪替代固定链，做生成模型的研究者可以直接在少步采样场景下替换传统方法，效果提升明显。
10:02
arXiv cs.AI@Chenrui Ma, Xi Xiao, Lin Zhao, Tianyang Wang, Ferdinando Fioretto, Yanning Shen
精选58
Drift Flow Matching (DFM) 提出了一种新框架，将高效的 Drift 模型（单步生成）与 Flow Matching（多步迭代生成）结合起来。DFM 保留了直接传输映射的效率，同时允许通过多步推理来优化生成质量，从而在计算成本与生成质量之间灵活权衡。实验表明，DFM 在多个任务和数据集上均有效，为生成模型提供了新的自适应采样范式。
论文生成模型Flow MatchingDrift 模型推理扩展采样效率
推荐理由：做生成模型研究的开发者终于有了一个既能高效单步生成、又能按需多步精调的框架——DFM 解决了 Drift 模型缺乏推理扩展性的痛点，值得关注其在不同场景下的灵活应用。
5月18日
10:38
arXiv cs.LG@Hazhir Aliahmadi, Irina Babayan, Greg van Anders
精选52
变分自编码器（VAE）普遍存在后验坍塌问题，即潜在变量被忽略。本文提出熵自编码器（EAE），仅以重构损失为显式目标，通过自由能最小化的编码器集成隐式生成潜在变量的先验。EAE 能学习非高斯、多模态的潜在分布，从而缓解后验坍塌，生成多样且与数据一致的样本。在反应扩散过程、MNIST 和 CelebA 数据集上，EAE 分别捕捉了低维动力学、隐式类别区分和面部层次结构。该框架为生成模型提供了一种新的训练范式。
论文生成模型变分自编码器后验坍塌自由能最小化表示学习
推荐理由：VAE 的后验坍塌是生成模型老难题，EAE 用隐式先验巧妙绕开，做生成模型或表示学习的开发者值得一看。
10:30