清华大学开源了1B参数的双臂机器人扩散模型:RDT,能调酒、会遛“狗”
它可以根据语言指令和RGB图像预测机器人的下一步动作,可以用于需要双臂协调的复杂任务
特点:
**1、**使用了100万多个多机器人操作片段进行的预训练
2、支持处理文本、图像和动作在内的多模态输入
3、具备零样本泛化能力
4、可以兼容多种现代移动操作机器人,包括单臂、双臂、关节控制、末端执行器控制等
5、支持长序列动作预测,可以预测接下来64个机器人动作
github:https://github.com/thu-ml/RoboticsDiffusionTransformer
.gif)
.gif)
.gif)