8月11日
11:57
11:57官方账号arXiv cs.AI@Oluwanifemi Bamgbose, Simon Rosen, Jash Shah, Lindsay Devon Brin, Hoang H Nguyen, Anke Koelzer, Rachel Hansen, Tara Bogavelli, Fanny Riols
arXiv论文提出首个维度级TTS元评估基准,将自然度拆解为10个语言学感知维度,包含860条由语言学家标注的语音样本。基准测试4个MOS预测器和4个Audio-LLM评判器后发现,MOS预测器仅反映声学信号质量,Audio-LLM评判器对特定提示有选择性检测且无法跨维度泛化。两类方法均不能可靠捕捉语言学结构化的语音错误。数据集、标注模式和评估代码已公开。
推荐理由:做TTS评测的可以看看,这篇把自然度拆成10个维度,实测发现MOS和Audio-LLM都测不全,还公开了数据集和代码。