腾讯混元开源同声传译模型 Hy-SimulMT，响应时间约 3 秒
腾讯混元同声传译大模型 Hy-SimulMT 开源，响应时间仅 3 秒超人类译员
腾讯把同传模型开源了，3 秒响应比人类译员还快，还能克隆你的声音翻出来，Hy 翻译 App 里能免费试。
腾讯混元发布并开源同声传译大模型 Hy-SimulMT，支持中英语音到语音实时翻译，响应时间实测约 3 秒，低于人类专业译员平均 4-5 秒的水平。模型支持实时音色克隆，可还原说话人的声音和语气。在长音频开源评测集 RealSI 上，Hy-SimulMT 在延迟最低的情况下翻译质量达到开源模型最佳，超过大多数商业 API。团队还邀请 6 位持 CATTI 一级或二级口译证书的人类同传专家对比测评，Hy-SimulMT 翻译质量得分更高且时延更低。该模型已在腾讯 Hy 翻译 App 免费提供体验。
腾讯混元同声传译大模型 Hy-SimulMT 开源，响应时间仅 3 秒超人类译员
IT之家 10 月 26 日消息，腾讯混元同声传译大模型 Hy-SimulMT 今日发布并开源，具备低时延、高准确率的特点，支持中英语言之间语音到语音实时翻译 —— 说话人的音频可以实时输入到 Hy-SimulMT 模型中，模型会边听边译，实时给出译文和语音，并支持实时音色克隆，可以高度还原说话人声音和语气。该模型在腾讯 Hy 翻译 App 首发， 免费提供服务体验 。 IT之家从官方介绍获悉，低时延是模型的一大亮点，混元同声传译大模型 Hy-SimulMT 的响应时间 实测在 3 秒左右 ，人类专业译员平均水平在 4-5 秒。测评结果显示，该模型的翻译效果超过了市面上主流的开源同传模型，甚至超过大部分的商用同传 API。 官方称，在业界常用的长音频开源评测集 RealSI 上，Hy-SimulMT 展示出了较好的同传翻译效果，见下图： 横轴里的 StreamLAAL 表示同传翻译的延迟指标，反映的模型输出翻译结果相比输入音频的延迟秒数，越低越好。纵轴表示翻译质量，使用 GPT6.1-Sol 进行打分，越高越好。Hy-SimulMT 能做到延迟最低的情况下，效果达到开源模型最佳，甚至超过大多数商业 API。 在短音频测试集上，Hy-SimulMT 也有较好表现，见下图： 为了更准确评估 Hy-SimulMT 的真实水平，该团队在合规允许范围内，广泛收集了互联网上新出现的中文和英文音频，包含软件 AI、医学、制造能源、自然科学、农业食品、商务管理、法律、教育、文化文旅、体育生活共十个领域， 涉及演讲、访谈、会议等多个场景 。 在这份数据上，该团队不仅测试了 Hy-SimulMT 的效果，也请多位人类同传专家对这些音频进行同声传译。 人类同传专家一共 6 位，其中 3 位拥有 CATTI 一级口译证书，3 位拥有 CATTI 二级口译证书，所有专家都有多年的同传实战经验。测评对 Hy-SimulMT 和人类同传专家的翻译内容在延迟和翻译质量上对比，其中人类同传专家选取的是 3 个人中的最高分，在这次能力定位测评中， Hy-SimulMT 在翻译的质量达到人类同传专家水平（得分更高），速度更快（时延更低） 。 参考 HuggingFace Modelscope Github
