酷,北航的一个用语言交互的无人机控制研究项目:UAV-Flow,通过语言指令实现无人机的精确控制,直接说话就能飞

UAV-Flow是首个专注于精细动作控制的系统,以往的研究主要集中在远距离导航控制

UAV-Flow主要关注语言引导的精细动作控制,无人机根据语言指令即可执行更复杂、更精准的近距离动作

比如,用说话的方式,让它绕树飞行,在车的左侧降落等,更适合普通人使用

其用“模仿学习”的方法来训练无人机,就是说让无人机“模仿”经验丰富的飞行员是怎么飞的,把飞行员的飞行轨迹和对应的语言指令结合起来,让无人机学习

由于无人机机载计算能力的限制,UAV-Flow搞了一套地空协同部署策略,把复杂的计算任务放在地面站完成,解决在无人机上部署大规模AI模型的问题

支持固定命令集和开放词汇命令集

项目页:https://prince687028.github.io/UAV-Flow/ 代码应该后续会放出来

image.png

demo_08.mp4

demo_04.mp4

demo_02.mp4

demo_01.mp4