腾讯刚刚开源了一个实时同传模型：Hy-SimulMT，中英双向边听边译，流式延迟约3秒，部分测试中接近专业同传
会议、演讲、直播、出海沟通等场景的完全可以搞起来了
它的几个核心能力 1、 流式同传，持续接收语音，说话人正在说的时候就能逐步输出译文，不是等整句话说完了再翻
2、低延迟，StreamLAAL约为3秒
3、实时音色克隆，能配合TTS实时生成目标语言语音，保留原说话人的声音特征
相比传统分段式ASR—文本翻译—TTS流程，Hy-SimulMT 的优势在于针对连续语音输入优化同传决策，在尽量保证翻译质量的同时降低延迟，让模型能更好的判断什么时候翻、翻多少，以及如何处理还没听到的后文
30B-A3B，提供BF16、FP8、GGUF权重，同时给出SimulInfer推理服务与SimulTrain训练链路
#AI同传 #HySimulMT #AI翻译
📹 视频见原推：https://x.com/aigclink/status/2114715014422724854
作者补充：
