上海AI Lab具身智能小镇：机器人买菜AI当NPC
来源：互联网 2026-07-04 06:26:17上海AI实验室提出首个模拟交互式3D世界GRUtopia（桃源），包含10万+精细注释场景，覆盖89种室内外类别。大模型驱动的NPC可与机器人对话交互，支持各类机器人完成行为模拟，大幅降低具身智能在现实世界的数据收集难度与成本。
超逼真的机器人小镇来了！
你想象过机器人像人一样在超市里购物吗？
长期稳定更新的攒劲资源： >>>点此立即查看<<<
买菜回家做饭：
在办公室里接咖啡，旁边还有人类同事：
不只有人形机器人，机器狗、臂式机器人也在这个“城市”里穿梭自如。
这就是由上海AI实验室最新提出的首个模拟交互式3D世界：GRUtopia（中文名：桃源）。
在这个虚拟世界里，有多达100k个交互式、带精细注释的场景，它们自由组合成一个逼真的城市环境。其中涵盖了室内与室外，包括餐厅、超市、办公室、家庭等89个不同场景类别。
由大模型驱动的NPC，可以在这个世界里和机器人进行对话与交互。
这样一来，各类机器人可以在虚拟小镇里完成各种行为模拟。这其实就是最近很火的Sim2Real路线，能大幅降低具身智能在现实世界数据收集上的难度和成本。
该项目计划开源，目前在GitHub上已经提供了demo安装指南。安装成功后，你就可以在demo里控制一个人形机器人在房间内活动，并且支持调整不同视角。
机器人的虚拟桃源
这个项目的核心工作有三项：GRScenes、GRResidents和GRBench。
GRScenes是一个包含大规模场景数据的数据集。它极大程度上扩展了机器人可以活动和操作的环境范围——此前的工作更多聚焦在家庭场景。从研究团队透露的目标来看，他们希望把通用机器人的能力扩展到超市、医院、游乐园、博物馆、展览馆等各种服务场景，覆盖室内与室外。
对于每个场景，团队的建模都做得相当精细。100个场景中，包含了96个类别的2956个交互式物体和22001个非交互式物体。
GRResidents是一个NPC系统。它由大模型驱动，同时对模拟环境中的场景信息非常了解。因此，NPC可以推断物体之间的空间关系，并能参与动态对话和任务分配。借助这个系统，GRUtopia可以生成海量场景任务供机器人完成。
通过与人类进行交叉验证，该NPC系统在描述和定位对象上的准确率都表现不错。在描述实验中，NPC系统随机选择一个物体进行描述，人类能找到对应物体就算成功。定位实验则反过来，NPC系统根据人类给出的描述找到对应物体即算成功。
实验结果显示，调用不同大模型的成功率不尽相同，综合来看GPT-4o的表现最好。
GRBench是一个评估具身智能表现的benchmark。它包含三个基准，涉及目标定位导航、社交定位导航和定位操作，这三种评估的难度是逐渐递增的。
为了分析NPC和控制API的性能，研究团队还提出了基于LLM和VLM的基线，以验证基准设计的合理性。
实验结果表明，与随机策略相比，在所有基准测试中，使用大型模型作为后端袋里的表现都更好。值得一提的是，Qwen-VL在对话上的表现甚至超过了GPT-4o。
最后，从整体对比来看，GRUtopia在其他平台的各个维度上都表现得更为强大。
这项研究工作由上海人工智能实验室OpenRobot Lab领衔。该实验室专注于研究具身通用人工智能，致力于构建软硬虚实一体化的通用机器人算法体系。今年5月，该团队还发布了具身多模态大模型Grounded 3D-LLM，能够自动化生成物体到局部区域的场景描述与具身对话数据，有效缓解了目前三维场景理解的局限性。
论文地址
https://arxiv.org/abs/2407.10943
GitHub地址
https://github.com/openrobotlab/grutopiatab=readme-ov-file
侠游戏发布此文仅为了传递信息，不代表侠游戏网站认同其观点或证实其描述
同类更新
更多
热游推荐
更多-
- DreamStudio
- Android/ | AI绘图
- 2026-06-30
-
-
- Playground AI
- Android/ | AI绘图
- 2026-06-30
-
- Adobe Firefly
- Android/ | AI绘图
- 2026-06-30
-
-
-
- Leonardo AI
- Android/ | AI绘图
- 2026-06-30
-
- Stable Diffusion
- Android/ | AI绘图
- 2026-06-30
