太酷了,阿里通义实验室给出了一套完整的可实时交互的数字人系统!
先是一款单图秒级3D数字人生成模型:LAM,支持实时动画和交互功能 支持跨平台、低延迟、实时渲染
另外还开源了两个配套工具,形成了一个完整的可实时交互的数字人系统
1、Audio2Expression,一个音频驱动的表情动画模型,用于驱动LAM生成的数字人头像,根据音频做出相应的嘴型和表情
2、OpenAvatarChat,数字人实时对话系统,核心是多模态低延迟,平均回答延迟在2.2秒左右
LAM :https://github.com/aigc3d/LAM
OpenAvatarChat :https://github.com/HumanAIGC-Engineering/OpenAvatarChat
LAM_Audio2Expression:https://github.com/aigc3d/LAM_Audio2Expression
