精选理由
VAE 的后验坍塌是生成模型老难题，EAE 用隐式先验巧妙绕开，做生成模型或表示学习的开发者值得一看。
变分自编码器（VAE）普遍存在后验坍塌问题，即潜在变量被忽略。本文提出熵自编码器（EAE），仅以重构损失为显式目标，通过自由能最小化的编码器集成隐式生成潜在变量的先验。EAE 能学习非高斯、多模态的潜在分布，从而缓解后验坍塌，生成多样且与数据一致的样本。在反应扩散过程、MNIST 和 CelebA 数据集上，EAE 分别捕捉了低维动力学、隐式类别区分和面部层次结构。该框架为生成模型提供了一种新的训练范式。
AI 翻译 · 中文
变分自编码器（VAE）普遍存在后验坍塌问题，即潜在变量被忽略。本文提出熵自编码器（EAE），仅以重构损失为显式目标，通过自由能最小化的编码器集成隐式生成潜在变量的先验。EAE 能学习非高斯、多模态的潜在分布，从而缓解后验坍塌，生成多样且与数据一致的样本。在反应扩散过程、MNIST 和 CelebA 数据集上，EAE 分别捕捉了低维动力学、隐式类别区分和面部层次结构。该框架为生成模型提供了一种新的训练范式。
Despite their ubiquity, variational autoencoders (VAEs) inherently suffer from posterior collapse, a failure mode in which latent variables are effectively ignored. This failure arises because explicit prior imposition d…