腾讯开源实时同传模型 Hy-SimulMT：中英双向边听边译
Why we picked it
腾讯开源的 Hy-SimulMT 能边听边翻，延迟只有约 3 秒，还能克隆说话人音色，做会议或直播翻译的可以试试。
腾讯开源了实时语音同传模型 Hy-SimulMT，支持中英双向边听边译，流式输出译文而非等整句结束。模型在 StreamLAAL 指标下的流式延迟约为 3 秒，部分测试中接近专业同传水平。它还支持实时音色克隆，配合 TTS 生成保留原说话人声音特征的目标语言语音。相比传统 ASR—文本翻译—TTS 分段流程，Hy-SimulMT 专门优化了同传决策，判断何时翻译、翻多少以及如何处理未听到的后文。模型规格为 30B-A3B，提供 BF16、FP8、GGUF 权重，并附带 SimulInfer 推理服务与 SimulTrain 训练链路。
Original · AIGCLINK
腾讯刚刚开源了一个实时同传模型：Hy-SimulMT，中英双向边听边译，流式延迟约3秒，部分测试中接近专业同传
会议、演讲、直播、出海沟通等场景的完全可以搞起来了
它的几个核心能力 1、 流式同传，持续接收语音，说话人正在说的时候就能逐步输出译文，不是等整句话说完了再翻
2、低延迟，StreamLAAL约为3秒
3、实时音色克隆，能配合TTS实时生成目标语言语音，保留原说话人的声音特征
相比传统分段式ASR—文本翻译—TTS流程，Hy-SimulMT 的优势在于针对连续语音输入优化同传决策，在尽量保证翻译质量的同时降低延迟，让模型能更好的判断什么时候翻、翻多少，以及如何处理还没听到的后文
30B-A3B，提供BF16、FP8、GGUF权重，同时给出SimulInfer推理服务与SimulTrain训练链路
#AI同传 #HySimulMT #AI翻译
