太酷了,阿里通义实验室给出了一套完整的可实时交互的数字人系统!

先是一款单图秒级3D数字人生成模型:LAM,支持实时动画和交互功能 支持跨平台、低延迟、实时渲染

另外还开源了两个配套工具,形成了一个完整的可实时交互的数字人系统

1、Audio2Expression,一个音频驱动的表情动画模型,用于驱动LAM生成的数字人头像,根据音频做出相应的嘴型和表情

2、OpenAvatarChat,数字人实时对话系统,核心是多模态低延迟,平均回答延迟在2.2秒左右

LAM :https://github.com/aigc3d/LAM

OpenAvatarChat :https://github.com/HumanAIGC-Engineering/OpenAvatarChat

LAM_Audio2Expression:https://github.com/aigc3d/LAM_Audio2Expression

image.png

436519674-a72a8c33-39dd-4656-a4a9-b76c5487c711.mp4

432137381-e2861200-84b0-4c7a-93f0-f46268a0878b.mp4