ModelsOfficialSelected

Allen AI 发布 DiScoFormer:统一密度与评分的 Transformer 模型

DiScoFormer: One transformer for density and score, across distributions

Why we picked it

Allen AI 搞了个新模型 DiScoFormer,一个 Transformer 既能算密度又能算得分,比 NICE 这些老方法误差更低。想省事搞密度估计的可以看看。

Allen AI 发布 DiScoFormer,一种基于 Transformer 的架构,同时学习任意数据分布的密度函数和得分函数。

Image · Hugging Face: Blog
Body

传统方法如 NICE、MAF、ResFlow 需分别建模或使用归一化流,DiScoFormer 通过单一模型完成且无需显式归一化。在 2D 环形、高维高斯混合等多个基准分布上,DiScoFormer 的密度估计和得分误差均低于这些基线。

该论文已被 NeurIPS 2024 接收,代码和预训练模型已在 GitHub 开源。

Industry Coordinates & Source Verification

This report is categorized under AITOP's "Models" desk. Key entities and technical topics under continuous tracking include DiScoFormer, Allen AI, Transformer, 密度估计.

Primary source verification: published directly by Hugging Face: Blog with first-party authority.