02:49Hugging Face: Blog(博客/媒体)精选Allen AI 发布 DiScoFormer,一种基于 Transformer 的架构,同时学习任意数据分布的密度函数和得分函数。传统方法如 NICE、MAF、ResFlow 需分别建模或使用归一化流,DiScoFormer 通过单一模型完成且无需显式归一化。在 2D 环形、高维高斯混合等多个基准分布上,DiScoFormer 的密度估计和得分误差均低于这些基线。该论文已被 NeurIPS 2024 接收,代码和预训练模型已在 GitHub 开源。AI模型DiScoFormerAllen AITransformer密度估计生成模型推荐理由:Allen AI 搞了个新模型 DiScoFormer,一个 Transformer 既能算密度又能算得分,比 NICE 这些老方法误差更低。想省事搞密度估计的可以看看。原文
11:59arXiv cs.AI@Qi Lan, Yining Tang, Yu Shen, Yi Zhou, Yuhao Wei, Jie Li, Guofa Li精选安全关键交通场景生成对评估自动驾驶系统在罕见但高风险交互下的表现至关重要。现有扩散方法虽在闭环生成中可控性强,但迭代去噪过程计算成本高,且长序列中易累积采样和引导误差,导致抖动、异常加速等不真实运动。RiskFlow 提出一种新框架,将未来轨迹生成建模为动作空间中的传输,通过单次前向传播学习平均速度场,将高斯动作序列转化为加速度和偏航率指令,并利用输出空间引导生成高风险交互,同时保持物理可行性。实验表明,RiskFlow 在多智能体和长时域设置下实现了对抗性与真实性的良好平衡,显著提升真实性并降低推理时间。论文自动驾驶安全关键场景生成RiskFlow交通仿真生成模型推荐理由:自动驾驶安全测试场景生成一直面临计算慢、动作不真实的问题,RiskFlow 用单次前向传播替代迭代去噪,做仿真评估的团队可以直接用,效果比扩散方法更高效更保真。原文
AITOP5月29日 08:02Opus 4.8发布:编程助手的“静默时刻”,是解放开发者,还是新门槛?🔥Anthropic 把 AI 编程的“确认键”彻底删掉了!Claude Code 搭载全新 Opus 4.8 模型,长时间任务不跑偏、不废话、不中断,像一个资深工程师一样默默干活,从功能开发到漏洞清扫全包圆,你在旁边喝茶等结果就行。过去 AI 写代码三步一问“这样可以吗”,现在它直接交完整交付物……自主编程的最后一层窗户纸,被捅破了。做自动化开发和代码审查的团队,这个模型建议直接上手,效率差距肉眼可见……
11:05arXiv cs.AI@Stanislav R. Kirpichenko, Andrei V. Konstantinov, Lev V. Utkin精选生存分析旨在从含删失数据中估计事件时间分布,但现有方法常对风险函数施加结构假设或离散化时间轴,限制了灵活性并引入近似误差。本文提出生存扩散概率模型(SDPM),一种基于去噪扩散模型的连续时间生存分析方法。SDPM 直接建模生存结果的条件分布,利用条件独立删失假设,通过生成样本结合 Kaplan-Meier 估计器得到生存函数,无需参数假设或时间离散化。在十个真实数据集上,SDPM 在 C-index、时间依赖 AUC 和 Brier 评分上达到与树模型、提升模型和神经网络模型相当的预测性能。合成数据实验表明,SDPM 能更准确地恢复底层连续生存分布的形状,消融研究验证了目标空间变换对事件率校准和预测区分度的提升。论文生存分析扩散模型连续时间生成模型SDPM推荐理由:生存分析是医学、可靠性工程等领域的核心问题,SDPM 用扩散模型绕过了传统方法的参数假设和离散化限制,做生存预测的团队可以直接用公开代码复现,值得关注。原文
09:46arXiv cs.AI@John-Joseph Brady, Nikolas Nusken, Yunpeng Li精选深度状态空间模型(DSSM)在统计建模中广泛应用,但大规模训练一直困难。现有方法分为两类:自编码DSSM通过优化变分下界训练生成模型,而基于序贯蒙特卡洛(SMC)的方法可处理判别与生成任务,但因前向过程的顺序性在GPU上扩展性差。研究者提出并行变分蒙特卡洛(PVMC)方法,融合两类范式优势,在基准实验中达到或超越当前最优结果,且训练速度比最快的SMC方法快10倍。该方法可稳健训练DSSM用于判别和生成任务,解决了SMC方法在硬件上的扩展瓶颈。论文深度状态空间模型并行变分蒙特卡洛训练加速序贯蒙特卡洛生成模型推荐理由:做时间序列建模或状态空间模型研究的团队,PVMC让训练速度提升10倍且不牺牲精度,值得直接尝试。原文
11:13arXiv cs.LG@Yuchen Wu, Kangjie Zhou, Weijie Su精选本文研究了在结构化交互学习环境中,生成模型因反复使用其他模型生成的合成数据而导致性能退化(模型崩溃)的条件。作者用有向图形式化模型间的交互模式,发现模型崩溃的发生关键取决于交互图的拓扑结构。他们推导出模型崩溃发生的充要条件,并为线性回归和一般M估计器建立了有限样本和渐近理论保证。这项研究填补了此前仅关注单模型自训练而忽略多模型交互场景的空白。论文模型崩溃交互学习生成模型有向图统计学习推荐理由:做生成模型训练或数据增强的团队,这篇论文帮你搞清楚多模型交互时什么时候会踩坑——交互图拓扑是决定因素,值得仔细看看理论条件。原文
11:01arXiv cs.LG@Grigory Bartosh, David Ruhe, Emiel Hoogeboom, Jonathan Heek, Thomas Mensink, Tim Salimans精选Dual-Rate Diffusion 提出了一种新的扩散模型加速方法,通过交错执行一个稀疏更新的重上下文编码器和一个轻量去噪模型来降低推理成本。重编码器每几步提取一次高维特征,轻量模型则在每一步复用这些特征进行高效去噪。在 ImageNet 基准上,该方法在保持生成质量的同时将计算成本降低 2-4 倍。此外,该方法与蒸馏技术(如 Moment Matching Distillation)兼容,可进一步加速少步生成。论文扩散模型推理加速ImageNet蒸馏生成模型推荐理由:扩散模型推理慢是落地痛点,Dual-Rate Diffusion 用轻量网络复用特征,做图像生成的团队可以直接拿来加速现有模型,效果不打折。原文
10:58arXiv cs.LG@Grigory Bartosh, Teodora Pandeva, Sushrut Karmalkar, Javier Zazo精选离散扩散模型在多个领域表现优异,但传统方法使用固定马尔可夫加噪链,导致生成过程需要大量采样步骤,计算成本高。本文提出 Forward-Learned Discrete Diffusion (FLDD),引入可学习的非马尔可夫加噪过程,使生成过程在保持因子化分布的同时,能更高效地匹配目标分布。通过端到端训练所有参数,FLDD 在相同采样步数下生成质量显著优于传统离散扩散模型。实验表明,该方法在图像、文本等基准上均能实现少步高质量生成,有望加速离散扩散模型的实际应用。论文离散扩散模型少步生成可学习加噪生成模型FLDD推荐理由:离散扩散模型终于有了加速方案——FLDD 用可学习加噪替代固定链,做生成模型的研究者可以直接在少步采样场景下替换传统方法,效果提升明显。原文
10:02arXiv cs.AI@Chenrui Ma, Xi Xiao, Lin Zhao, Tianyang Wang, Ferdinando Fioretto, Yanning Shen精选Drift Flow Matching (DFM) 提出了一种新框架,将高效的 Drift 模型(单步生成)与 Flow Matching(多步迭代生成)结合起来。DFM 保留了直接传输映射的效率,同时允许通过多步推理来优化生成质量,从而在计算成本与生成质量之间灵活权衡。实验表明,DFM 在多个任务和数据集上均有效,为生成模型提供了新的自适应采样范式。论文生成模型Flow MatchingDrift 模型推理扩展采样效率推荐理由:做生成模型研究的开发者终于有了一个既能高效单步生成、又能按需多步精调的框架——DFM 解决了 Drift 模型缺乏推理扩展性的痛点,值得关注其在不同场景下的灵活应用。原文
10:38arXiv cs.LG@Hazhir Aliahmadi, Irina Babayan, Greg van Anders精选变分自编码器(VAE)普遍存在后验坍塌问题,即潜在变量被忽略。本文提出熵自编码器(EAE),仅以重构损失为显式目标,通过自由能最小化的编码器集成隐式生成潜在变量的先验。EAE 能学习非高斯、多模态的潜在分布,从而缓解后验坍塌,生成多样且与数据一致的样本。在反应扩散过程、MNIST 和 CelebA 数据集上,EAE 分别捕捉了低维动力学、隐式类别区分和面部层次结构。该框架为生成模型提供了一种新的训练范式。论文生成模型变分自编码器后验坍塌自由能最小化表示学习推荐理由:VAE 的后验坍塌是生成模型老难题,EAE 用隐式先验巧妙绕开,做生成模型或表示学习的开发者值得一看。原文
10:30arXiv cs.LG@Shuchan Wang精选研究人员提出了一种新的生成模型水印方法,将水印直接嵌入到Flow Matching模型的连续动态(速度场)中,而非模型权重或输出。该方法通过随机编码在训练时添加密钥相关的扰动,检测时从黑盒查询中恢复信息,且不改变生成分布。在MNIST和CIFAR-10上的实验表明,该方法能可靠恢复水印,保持生成质量,且无密钥时解码准确率仅为随机水平。论文水印Flow Matching生成模型版权保护随机编码推荐理由:这项研究解决了生成模型版权保护的核心难题——水印不可篡改且不影响生成质量,做AI安全或模型部署的团队值得关注,可以直接参考其黑盒检测方案。原文