清华大学开源了1B参数的双臂机器人扩散模型:RDT,能调酒、会遛“狗”

它可以根据语言指令和RGB图像预测机器人的下一步动作,可以用于需要双臂协调的复杂任务

特点:

**1、**使用了100万多个多机器人操作片段进行的预训练

2、支持处理文本、图像和动作在内的多模态输入

3、具备零样本泛化能力

4、可以兼容多种现代移动操作机器人,包括单臂、双臂、关节控制、末端执行器控制等

5、支持长序列动作预测,可以预测接下来64个机器人动作

github:https://github.com/thu-ml/RoboticsDiffusionTransformer

640 (3).gif

640 (4).gif

640 (5).gif