论文精选

MeCo:一步生成式校正器提升多通道语音分离的听觉质量

MeCo: One-Step MeanFlow-based Corrector for Multi-Channel Speech Separation

精选理由

语音分离的听觉质量一直是痛点,MeCo用一步生成解决了判别模型“指标好但听着差”的问题,做语音增强或分离的团队可以直接在现有模型上叠加使用,值得一试。

AI 摘要

多通道语音分离的判别模型在参考指标上表现优异,但人类听觉质量欠佳。为此,研究者提出基于MeanFlow的一步生成式校正器MeCo,通过学习条件平均速度场,将判别模型输出直接映射到干净语音流形。MeCo引入数据空间优化(DSO),结合长位移惩罚的生成目标和端点SI-SDR损失,在单步生成中同时提升信号保真度和听觉质量。实验表明,MeCo在域内和域外场景均达到最先进性能,且计算开销极小。

AI 翻译 · 中文

多通道语音分离的判别模型在参考指标上表现优异,但人类听觉质量欠佳。为此,研究者提出基于MeanFlow的一步生成式校正器MeCo,通过学习条件平均速度场,将判别模型输出直接映射到干净语音流形。MeCo引入数据空间优化(DSO),结合长位移惩罚的生成目标和端点SI-SDR损失,在单步生成中同时提升信号保真度和听觉质量。实验表明,MeCo在域内和域外场景均达到最先进性能,且计算开销极小。

arXiv cs.AIWhile discriminative models for multi-channel speech separation excel in reference-based metrics, they often exhibit suboptimal human listening quality. To address this, we propose a novel MeanFlow-based one-step generat