OverSeer:用固定辅助视角提升多智能体世界模型一致性
研究提出多智能体世界模型 OverSeer,在智能体第一视角之外加入固定在空间中的辅助相机视角,作为世界中心表征的代理,以提升时间与跨智能体一致性。辅助视角冗余且近似静态,可用只编码相对静态参考图变化的 delta-VAE 高效压缩,减少所需 token 数量。
研究提出多智能体世界模型 OverSeer,在智能体第一视角之外加入固定在空间中的辅助相机视角,作为世界中心表征的代理,以提升时间与跨智能体一致性。辅助视角冗余且近似静态,可用只编码相对静态参考图变化的 delta-VAE 高效压缩,减少所需 token 数量。
英伟达发布并开源数据引擎Flora,将原始机器人视频转化为带时间戳动作描述、过程奖励和结果奖励等训练数据,目前已用于训练GR00T系列模型。Flora由动作描述模型、时间分段模型和奖励模型组成,基于Qwen3.5系列视觉语言模型微调,依托512块GB300 GPU每天可标注20万小时数据。
推荐理由:英伟达开源的数据引擎把机器人视频标注成本压到通用大模型的约1/125,并给出多项基准对比,可据此判断数据标注环节的替代空间。
英伟达发布并开源实时生成式手术世界模型 Cosmos3-H-Dreams,可根据机器人操作指令实时生成手术画面,模拟器械移动、组织牵拉及形变,支持腹腔镜胆囊切除术场景。
NVIDIA 在 GTC Berlin 展示本地 AI 硬件全线产品,并公布 RTX Spark、DGX Spark 与 DGX Station 的多项软件与生态更新。
英伟达宣布升级Isaac通用机器人开发平台,推出新的人形机器人参考框架、仿真工作流及数据工具,旨在加速通用机器人开发。相关更新覆盖机器人训练、仿真验证和部署流程,帮助开发者利用合成数据和仿真环境训练机器人,并在实际部署前验证机器人行为。
NVIDIA 在 GTC Berlin 宣布扩展 Isaac 开源机器人开发平台,新增 Isaac OS 运行时、正式发布的 Isaac Lab 3.0 学习框架,以及基于 DGX Station 的开源参考工作流。
推荐理由:原文列出 Isaac 平台新增的运行时、学习框架与开源工作流,读者可据此判断数据到部署链路的具体变化。
一个机器人项目在仿真中通过进化搜索与AI生成CAD,让机器人迭代设计并测试夹爪等工具以提升任务表现,机器人动作目前仍来自预定义任务控制器。下一步计划用Arctos机器人和3D打印机做实机验证,作者正寻求自动从打印平台取下夹爪手指的建议。
NVIDIA 在 GitHub 开放 Factory Operations Blueprint(FOX)早期访问,供开发者构建协调机器作业的常驻工厂管理智能体和视觉检测、根因分析等专用智能体。
英伟达宣布扩展开放模型产品线,推出Nemotron Retriever检索模型、Kumo结构化企业数据模型、Cosmos 3.5世界模型、Alpamayo 2 Edge自动驾驶模型、BioNeMo蛋白质设计模型及Ising量子计算模型等。其中BioNeMo RFD4-Proteina在一项涵盖200个氨基酸蛋白质的基准测试中,生成设计的速度约为RFdiffusion3的13倍。
Voxel51 发布数据平台 3.0,为机器人与物理 AI 开发者提供搜索、组织、标注和评估机器人数据的工具。
该教程讲解如何用 ROS2 与 Gazebo 搭建机器人仿真环境,覆盖 URDF 建模、激光雷达与差速驱动插件配置、SDF 世界编辑及传感器噪声注入。文中强调 use_sim_time、TF 树与物理参数校准等常见坑点,并给出多机器人仿真、硬件在环与 CI 自动化测试等进阶方向,帮助开发者在仿真中验证 Nav2、SLAM 等算法后再迁移实机。
NVIDIA 研究团队提出 JCA 模型,可为任意给定骨架同时生成视频与可回放的 3D 动作,并输出将动作配准到场景的相机。该模型把 3D 动作保留在独立模型中支持任意骨架,通过少量交叉注意力层连接预训练视频模型,动作模型先用纯动作数据学习骨架运动。
河南农村妇女通过穿戴数采设备采集具身智能训练数据,日薪80元、月入2000多元,职业名称为数据采集员。英伟达EgoScale成果发布后,无本体采集成为主流方式,大幅降低了门槛,吸引人力外包、地推、贷款中介等草根从业者涌入。
清华系具身智能公司千诀科技在2026物理AI与世界模型大会上发布预测式世界模型Polibrain,主打物理规律学习与跨本体复用,不生成完整未来画面,而是在任务相关潜在表征空间中预测状态变化,形成感知、决策、执行与反馈的闭环。
10月20日,舍弗勒具身智能机 器人数智工厂在江苏太仓正式启用,同期舍弗勒具身智能机器人(太仓)有限公司与恺望数据公布工业具身数据合作进展。双方围绕7大典型场景,采用真机遥操、UMI、EGO等设备完成试采、质检和标注,形成首批一千余条有效数据并投入具身工业垂直模型训练。
Thinker-WM 是一个统一多模态世界模型,通过共享的 Unified Dynamics Transformer 联合建模并生成 RGB、度量深度和机器人动作,同一套参数支持视频-动作联合生成、世界预测、策略推理、动作条件生成、视频到动作生成和逆动力学等功能。
EMMA框架通过生成数据引擎与训练流程增强视觉-语言-动作(VLA)策略,缓解跨外观机器人操作数据采集成本高的问题。其核心组件DreamTransfer基于扩散Transformer,生成多视角一致且几何合理的操作视频,支持对前景、背景和光照做文本驱动编辑并保持三维结构。
Gibson Virtual Environment 通过虚拟化真实空间为具身智能体提供感知训练环境,目前包含来自 572 栋完整建筑的 1400 多个楼层空间。其内置的 "Goggles" 合成机制可让训练后的模型直接部署到真实世界,无需额外的域适应。该环境使智能体受物理与空间约束,论文展示了在其中学习的样例感知任务,代码、数据集与项目网站已开放。
该论文提出一套端到端流程,用安装在标准腹腔镜器械杆上的器械状态记录仪(结合惯性传感器、飞行时间传感器和霍尔传感器,无需外部相机或追踪器)采集外科医生操作时的器械位姿与钳口状态,用于训练手术机器人策略并在活体动物上验证。
论文提出 WorldScape Policy 2.0,一种带推理增强长短期记忆的可控世界动作模型(WAM)。其因果短期视觉记忆将近期观测作为 DiT 预填以保留局部交互动态,长期事件记忆则把历史 VLM 输出组织为全局历史、局部活跃与事件边界表示,用于进度感知检索并生成隐式子目标条件。
论文提出模块化方法,在接触密集任务的局部区段自主采集数据并用离线强化学习训练局部策略,再与传统运动规划集成完成长时程装配任务。在四个真实任务中仅用2-2.5小时自主采集数据,长时程任务平均成功率达96%,规划-only基线为55%,最强端到端基线为37%;局部策略还将施加力降低49%。在场景级分布外场景下性能保持在90%,共完成超过1500次真实评测rollout。
研究团队提出 Kamino,一个基于 GPU 的物理求解器,用 Python 基于 NVIDIA Warp 实现并集成进 Newton 框架,面向具有强耦合运动与动力学约束(如运动回路)的异构机器人系统做大规模并行仿真。
论文提出一个模型,可为任意给定骨架同时协同生成视频与3D动作,并生成将该动作配准到场景的相机。该模型将3D动作保留在独立模块中以支持任意骨架,通过少量交叉注意力层与预训练视频模型连接,并利用生成式视频编辑器整理出近200K训练对。评测显示其从文本驱动多样骨架动画比视频优先的流程更忠实,动作会响应周围场景,还支持视频转骨架动作、骨架动作转视频以及基于关键帧的3D动作控制。
论文提出 RoboJudge-Bench,用于评估多模态大语言模型(MLLM)作为具身视频生成裁判的可靠性,覆盖物理一致性与指令对齐两个维度,包含来自 8 个源语料库、10 个视频生成器的 800 条人工标注视频,涵盖夹爪、人手和灵巧手。
PanoGraphGS 将全景 3D 高斯表示学习与层级 3D 场景图构建整合到一个框架中,在共享高斯几何上学习语义与实例特征,实现跨视角一致的全景预测与新视角全景分割。
论文提出SynCalib数据生成框架,针对基于深度学习的LiDAR-相机在线标定中训练数据外参多样性不足导致的过拟合与泛化差问题,利用带深度真值标注的全景图像数据集,在严格外参约束下合成多模态标定数据。实验表明该流程显著提升学习式标定网络的泛化性与鲁棒性,并在多种相机-LiDAR配置上完成真实世界评测,验证了仅用合成数据训练模型的零样本迁移能力;数据生成代码、预训练模型和在线基准数据集将公开。
arXiv发布一篇12章、388页、64图的专著《Physical AI: Concepts, Techniques, and Challenges》,将物理AI定义为在现实约束下通过持续反馈感知、建模并作用于物理世界的人工系统,并区分其与数字AI、具身AI、信息物理系统和数字孪生。
AdaDex 是一个目标条件强化学习框架,把几秒的人手-物体轨迹(来自动捕数据或野外 RGB(D) 视频的 HOI 重建)转化为可泛化的灵巧技能。其核心 Hybrid Dexterous Mimicking 在两组大规模并行环境中训练共享策略:带稠密动作跟踪目标的环境注入人体先验,带噪声初始状态与目标、稀疏物体成功奖励的环境迫使技能偏离参考轨迹也能工作。
PhysCanvas 是一个面向接触密集型机器人操作的状态一致视觉触觉世界模型,将多视角 RGB、触觉图像、marker 位移、任务状态与动作统一到同一视觉空间,共享视频 VAE 与预训练生成骨干。
SceneRig 是一个将单张图像转为可编辑、仿真可用场景的智能体系统,结合几何、视觉与物理工具重建 3D 场景,并在物理仿真器内通过编辑-验证循环实现物理稳定。
论文提出 FRDV(Fast Retargeting with Dynamics Validation)框架,用于将大规模人体动捕数据快速重定向到不同人形机器人。
作者提出 MARE,一个基于 Unreal Engine 5 和 ROS 2 的开源月球车感知与自主仿真套件,包含地形生成、双物理月球车传感器仿真和 GNC 任务控制三部分。仿真器提供立体、激光雷达、事件和 SPAD 相机数据及像素级真值,低太阳高度角下预测阴影与渲染阴影的平均 IoU 为 0.79。立体深度分析显示阴影区域像素覆盖低于日照区域。
Idealworks 与 NVIDIA 在工业移动机器人上系统评测 X-Mobility 与 COMPASS 学习式导航流程的仿真到现实迁移。在数字孪生中结合 Cosmos 生成的 sim-to-real 数据训练后,四个场景的实机成功率从 65.3% 提升到 91.7%,加权行驶时间接近减半,与产线导航栈相差 8.3 个百分点,且全部在机载 Jetson AGX Xavier 上运行。
arXiv 论文提出 LocoPilot,一个部署在 12 自由度 Unitree Go2 四足机器人(搭载 6 自由度 AgileX Piper L 机械臂、Intel RealSense D435 腕部相机与 D405 头部相机)上的单操作员双边遥操作与数据采集框架。
论文提出 PointHand 遥操作界面,把多指机械手渲染为指尖与关节的稀疏关键点,与策略可观测的关键点一致。在仿真 mug-in-box 任务中,18 名新手与 4 名专家在三种渲染条件下共采集 2,200 次试验,其中看到拇指与食指强调渲染的新手在 600 次试验中获得 441 次成功示教,高于真实手形渲染的 320 次。
该论文提出一种可摄取同步多相机视角的隐动作模型(LAM),通过交叉注意力解决深度与遮挡问题,再压缩为隐动作并输入由潜在专家与动作专家在冻结VLM骨干上通过序列流匹配耦合的策略。
论文提出用一个佩戴在采集者头部的单目相机(USD 122)替代 UMI 手套方案中的腕部相机、位姿跟踪器及其独立数据流,读取免电子手套(USD 22)上的印刷基准标记与工作区纸砖,从策略将看到的同一帧中给出 6-DoF 夹爪位姿和爪宽;部署时同一相机装在机器人旁的低成本(USD 120)机械臂上,依据机器人关节状态模仿采集者头部运动。
EchoNav提出一种从短RGB序列预测证据式鸟瞰图(BEV)表示的视觉导航框架,结合时序聚合与占据补全,无需深度或相机位姿输入,也不做显式几何变换。该框架在仿真双目标顺序导航中成功率达89.6%,比最强基线高32.5个百分点;在20个场景的60次轮式机器人试验中成功率为73.3%,基线为33.3%。作者还在四足与人形机器人上做了额外演示。
CoRL 2026 论文提出动作影响最大化(AIM)算法,主动采集训练数据以提升数据集的动作影响,从而改善动作条件视频世界模型的可控性。作者证明数据的动作影响指标上界了任何在该数据上训练的模型所能表达的动作影响,专家演示动作分布狭窄导致该上限偏低。
作者提出 Embodied Playground,一个用于评估基础模型智能体在长程任务中协调物理、策略与空间推理的基准,包含 410 个任务环境,覆盖基础操作、序列谜题和多阶段家务活动。