VQ-VAE(Vector Quantised Variational Autoencoder,向量量化变分自编码器)是一种将连续数据编码为离散码本的生成模型,由 DeepMind 于 2017 年提出。它通过最近邻查找把神经网络隐层映射到有限向量集合,使自编码器输出的潜变量是离散 token,从而能与自回归语言模型等方法直接衔接。这一离散化思路后来支撑了 DALL·E、VQGAN、各类语音与视频编解码模型,成为多模态生成中的基础设施之一。当前 VQ-VAE 的研究重心已从图像生成转向更广泛的信号类型与应用场景。
VQ-VAE 近期进展
当前焦点与观察点
从这三项工作可以看出,VQ-VAE 的讨论已经从“能否离散化”转向“如何离散得更好”。争议与改进集中在几个方面:一是码本利用问题,传统 VQ 存在码本坍缩和量化误差,近期出现了有限标量量化(FSQ)等替代方案;二是 token 压缩与效率,长上下文任务中离散序列的长度直接决定计算成本,规划对齐、高斯瓶颈等结构化改进都是针对这一点的回应;三是应用边界的扩展,从图像到音频、心电等连续信号,码本作为通用中间表示的角色越来越明确。
对关注该方向的读者,值得观察的信号包括:VQ-VAE 系列离散 token 化与扩散模型等连续表征方法在多模态生成中的竞争态势,以及它在医疗时序数据上能否达到临床可用的预训练效果。