重新利用语音分类器实现引导扩散语音生成

Repurposing a Speech Classifier for Guided Diffusion-Based Speech Generation

精选理由

这篇论文教你用一个现成的语音分类器直接生成语音,省掉单独训练扩散模型,更轻量高效。

AI 摘要

该研究提出一种将传统语音分类器改造为扩散生成主干的方法。从冻结的噪声条件分类器(在log-Mel频谱上)开始,附加一个轻量子网络来复用中间分类器表示,仅训练该子网络,使用去噪得分匹配目标。这种方法实现了单主干模型的条件语音生成,在保持语音质量的同时减少了内存占用和计算成本。

AI 翻译 · 中文

该研究提出一种将传统语音分类器改造为扩散生成主干的方法。从冻结的噪声条件分类器(在log-Mel频谱上)开始,附加一个轻量子网络来复用中间分类器表示,仅训练该子网络,使用去噪得分匹配目标。这种方法实现了单主干模型的条件语音生成,在保持语音质量的同时减少了内存占用和计算成本。

arXiv cs.AIClassifier guidance is a way to control diffusion generation by using a noise-conditioned classifier to steer the sampling process toward a target class. One drawback of classifier guidance is that it requires two separa