11:39arXiv cs.AI@Nityanand Mathur, Hamees Sayed, Wasim Madha, Apoorv Singh, Sameer Khurana, Akshat Mandloi, Sudarshan Kamath论文首次将DAAM框架适配到语音扩散模型,提出交叉注意力归因方法并应用于CapSpeech-TTS。方法提取了25层和24个ODE步骤的每个token热力图。分析了3600个(风格字幕,文本转录)组合,包含120个风格字幕和30个文本转录。结果发现风格token的时间方差低于内容/功能token,且风格关注度与F0和能量相关。注意力熵在层17达到最小值,与风格重要性峰值同时出现。论文CapSpeech-TTSDAAM交叉注意力风格字幕语音合成推荐理由:这篇把视觉归因方法搬到语音合成里,让你看清每个词怎么影响声音,对理解可控TTS特别有用。原文
11:09arXiv cs.AI@Rostislav Makarov, Timo Gerkmann该研究提出一种将传统语音分类器改造为扩散生成主干的方法。从冻结的噪声条件分类器(在log-Mel频谱上)开始,附加一个轻量子网络来复用中间分类器表示,仅训练该子网络,使用去噪得分匹配目标。这种方法实现了单主干模型的条件语音生成,在保持语音质量的同时减少了内存占用和计算成本。论文语音分类器扩散模型条件生成单主干模型语音合成推荐理由:这篇论文教你用一个现成的语音分类器直接生成语音,省掉单独训练扩散模型,更轻量高效。原文