11:39arXiv cs.AI@Nityanand Mathur, Hamees Sayed, Wasim Madha, Apoorv Singh, Sameer Khurana, Akshat Mandloi, Sudarshan Kamath论文首次将DAAM框架适配到语音扩散模型,提出交叉注意力归因方法并应用于CapSpeech-TTS。方法提取了25层和24个ODE步骤的每个token热力图。分析了3600个(风格字幕,文本转录)组合,包含120个风格字幕和30个文本转录。结果发现风格token的时间方差低于内容/功能token,且风格关注度与F0和能量相关。注意力熵在层17达到最小值,与风格重要性峰值同时出现。论文CapSpeech-TTSDAAM交叉注意力风格字幕语音合成推荐理由:这篇把视觉归因方法搬到语音合成里,让你看清每个词怎么影响声音,对理解可控TTS特别有用。原文