精选理由
ScenA这个新方法能用参考语音和自然描述直接生成多人对话场景，比现有系统更自然，还带背景噪音和重叠说话。
ScenA方法利用预训练的文本到音频流匹配基础模型，直接通过多个参考语音和自然语言提示生成整个音频场景。它继承了野外数据中自然的背景噪声、重叠对话等特性，无需逐句结构。但存在“参考捷径”问题：模型可仅凭声学相似性识别参考语音而忽略文本提示。通过高噪声偏差的时间步分布强制模型依赖文本提示。在CoVoMix2-Dialogue基准上，ScenA在说话人绑定指标上优于现有系统，并生成带重叠语音、情感发声和环境音的丰富对话音频。
AI 翻译 · 中文
ScenA方法利用预训练的文本到音频流匹配基础模型，直接通过多个参考语音和自然语言提示生成整个音频场景。它继承了野外数据中自然的背景噪声、重叠对话等特性，无需逐句结构。但存在“参考捷径”问题：模型可仅凭声学相似性识别参考语音而忽略文本提示。通过高噪声偏差的时间步分布强制模型依赖文本提示。在CoVoMix2-Dialogue基准上，ScenA在说话人绑定指标上优于现有系统，并生成带重叠语音、情感发声和环境音的丰富对话音频。
Existing multi-speaker dialogue systems bind speakers to utterances through structured supervision: per-turn tags, multi-stream transcriptions, or learnable speaker embeddings. These systems operate within speech-only pi…