阿里高德地图也搞了一款世界模型:FantasyWorld,目前在WorldScore世界模型排行榜几个关键指标上排名第一

继Qwen之后,阿里估计要在世界模型上发力了

其核心是通过统一视频生成和3D预测,实现几何一致的世界建模,缓解现有视频模型在3D理解上的能力不足,导致的空间一致性差以及3D推理的受限问题

弥合了视频想象与3D感知之间的鸿沟

从效果看其多视角的一致性连贯性,以及风格一致性上还可以,在180°旋转的极端视角下还能保持物体形状与纹理一致

生成的3D潜特征可解码为深度图、点云,直接支持AR/VR内容生成、机器人导航等任务

可以用到导航、AR/VR内容生成等3D任务场景中,比如说快速装修、电商商品展示、数字展馆等等

项目地址:https://fantasy-amap.github.io/fantasy-world/

image.png

1月7日 (1).mp4