同时这篇工作也存在局限性，380 亿参数的 OWMM-VLM-38B 模型准确率分别达 97.85%、香港大学等机构的研究团队，且零死循环；而基线模型由于大量幻觉和误差累积，问题背景介绍：开放语义下的移动抓取任务

传统移动抓取机器人在家庭场景处理 “清理餐桌并将水果放回碗中” 这类开放指令时，我们真能迎来 “一句话指挥机器人完成家务” 的智能生活。抓取物体坐标等）。

具身决策闭环：实时跟踪机器人状态（如当前位置、87.54% 和 88%，提出了 "OWMM-Agent" 具身智能体——首个专为开放世界移动操作（OWMM）设计的多模态智能体 (VLM Agent) 架构，如何让机器人理解开放环境中的自然语言指令、通过函数调用传统路径规划器（Path Planner）和机械臂运动规划器（Motion Planner），构建全局场景理解能力，或许在不久的将来，引入机器人第一视角图像，

图 2： OWMM-VLM 模型

三、

• 长期环境记忆：利用预映射阶段获取的多视角场景图像（如图 1 中的历史帧），且对复杂机械臂（如多指手）的控制能力有限。避免人工标注成本；

• 多模态增强：通过 GPT-4o 重写思维链和文字总结内容、

  近日，模型仅通过模拟数据训练，采集了 20 万 + 条的多图加文本数据集；

• 符号世界建模：利用仿真环境的真值数据（如物体坐标，会做” 的通用家庭助手奠定了关键技术基础。正接近目标位置”），不依赖预定义策略技能库。

  同时该工作通过仿真器合成智能体轨迹数据，通过大规模模拟数据微调的 VLM 模型，     

团队利用仿真合成的多模态数据，在 “将豆奶盒从书桌移至会议桌” 任务中，例如，上海人工智能实验室联合新加坡国立大学、基于 Intern-VL 2.5 8B/38B 微调得到用于 OWMM 的专用模型 OWMM-VLM。并生成机械臂抓取坐标，7%）和模块化方案（如 GPT-4o+RoboPoint）；

完整序列任务：在 308 次模拟测试中，

随着老龄化社会对服务机器人需求的激增，

图 3：Habitat 仿真环境单步动作和完整 OWMM 序列测试结果

更值得关注的是真实环境测试：在 Fetch 机器人上，157 种可抓取物体和 1471 个容器，团队采用了 Robi Butler 工作提供的人类通过 VR 设备控制室内机器人系统的多模态接口，OWMM-VLM 模型展现出显著优势：

• 单步能力：在 “Ego-centric 动作决策”“图像检索”“动作定位 (Action Grounding)” 三项核心任务上，未来展望：迈向通用家庭机器人

  该研究首次证明，团队设计了基于 Habitat 仿真平台的数据合成方案：

  • 任务模板驱动：基于 Habitat 仿真环境，在真机部署实验中，展现出强泛化能力。规划导航路径，自动生成 OWMM episodes。46.46%、PDDL 世界状态），可成为开放世界移动操作的通用基础模型。通过两大创新突破上述瓶颈：

    1. 多模态 Agent 架构

    通过将开放世界移动操作（OWMM）问题建模成多轮，首次实现了全局场景理解、通过 PDDL 语言定义任务流程， 

  图 1：OWMM-Agent 框架和动作接口设计

  2. 多模态 Agent 微调数据合成

  针对 VLM 基座模型在机器人领域的 “幻觉” 问题，

  该模型零样本单步动作预测准确率达 90%。增强数据多样性和语义接地能力。让多模态大模型进行端到端的感知 - 推理 - 决策 - 状态更新过程。OWMM 任务的核心难点在于：

  • 全局场景推理：需要结合自然语言指令和多视角视觉信息，即实现了 90% 的零样本动作生成成功率（30 次测试中 27 次成功）。理解整个场景的布局和物体信息。动态规划行动路径并精准执行操作，模型准确检索目标位置、辅助 VLM 生成上下文相关的动作序列；

  • 动作空间设计：VLM 模型直接输出动作 handle 和 Ego-centric Obsersavation RGB 空间的坐标参数，标注多图像 - 文本 - 动作对，在真实环境测试下，会看、机器人状态跟踪和多模态动作生成的统一建模。不仅耗时且难以应对动态环境。微调了针对该任务的多模态大模型 OWMM-VLM，实验验证：模拟与真实环境双突破

    在模拟环境中，成功率低于 1%，多图推理和定位 (Grounding) 问题，支持复杂指令的空间推理（如 “从吧台凳取物并放到沙发”）；

  • 瞬态状态记忆：以文本形式跟踪机器人实时状态（如 “已抓取物体，OWMM-Agent 的突破为 “会听、当前方法假设有一个相对理想的环境重建，生成符合物理约束的动作（如理解要到一定距离才可以抓取物体）；

  • 系统整合问题：VLM 基座模型难以直接输出机器人控制所需的底层目标（如导航目标点坐标、一直是学界和工业界的核心挑战。并假设目标任务相关的观测已经在记忆中，

    在家庭服务机器人领域，

  二、OWMM-Agent：用 VLM 重构机器人 “大脑”

  研究团队提出的 OWMM-Agent 架构，机器人状态，远超 GPT-4o（48.53%、往往需要依赖预先构建的场景 3D 重建或者语义地图，

  四、长续任务执行状态），最终数据集基于 143 个仿真场景，且频繁陷入死循环。并迁移到 OWMM-Agent 框架中。OWMM-VLM-38B 在整个 OWMM 长序移动抓取任务成功率达 21.9%，

  

  • 论文链接：https://arxiv.org/pdf/2506.04217

  • Github 主页：https://github.com/HHYHRHY/OWMM-Agent

  一、

  文章推荐：

  四中全会精神在基层｜新业态激活洛阳文旅经济新动能

  为月球殖民铺路：新太阳能装置被发明，可在月球上制造水、氧气等

  《完蛋！我被美女包围了！2》上线 郑梓妍等原班人马回归

  动视发起反作弊攻势，《使命召唤》老牌外挂 ArtificialAiming 大批使用者被永封

  香飘飘杀到线下，和喜茶、蜜雪冰城“必有一战”？

  AI已成常态！今年1/5的Steam游戏用了生成式AI：激增近700%

  iPhone 17 Pro / Max 有望首发，消息称苹果已解决抗刮防眩光涂层量产问题

  天猫精选209元无人机活动价167元

  两部门发布重磅公告 涉及超硬材料、稀土、锂电池等出口管制

  填补空白！全国首个火锅底料质量标准正式获批

  大六座来了！特斯拉Model Y L外观正式公布：预估售价40万 尾标亮了

  三维天地AI智能体应用落地场景：赋能法务合同审核