清华团队开源最新研究：Falcon，能在多说话人的嘈杂环境中，实时提取指定人物声音，还能直接接入腾讯会议

之前语音AI主要依赖音频信息处理混合声音，Falcon是“根据视觉信息，有选择的听某个人说话”，把摄像头看到的目标人物，与麦克风听到的声音对应起来，再提取这个人的语音

这种能力一旦足够准确、低延迟、低功耗，就可以成为多个行业的基础组件

比如说视频会议、智能眼镜、机器人、语音Agent等场景

效率上，比AV-TF-GridNet，可训练参数量减少91.9%，计算量降低了约 20倍，GPU推理延迟降低11倍；比同样50万参数的Swift-Net-12，GPU延迟降低约70%，计算量减少约77%

研究团队还配套了Falcon Studio

可在本地笔记本电脑上运行，用摄像头追踪目标人物嘴部，把提取后的语音输出到耳机，或者经虚拟音频设备送入腾讯会议、Zoom，让定向聆听直接进入真实会议流程

#AI语音模型 #AI说话人分离模型 #Falcon

📹 视频见原推：https://x.com/aigclink/status/2116410041767194823

作者补充：

项目：https://cslikai.cn/Falcon/ GitHub：https://github.com/JusperLee/Falcon