Video-Point Model 通过点轨迹预测学习4D世界并提升机器人操作成功率
论文提出 Video-Point Model(VPM),一个以多视角视频历史和语言指令为条件,联合预测任意视角未来视频与场景持久点3D轨迹的世界模型。作者在预训练世界模型上加入相机条件的多视角处理和轨迹预测头,并构建 VPM-Data 仿真语料与 VP-WorldBench 基准;进一步将机器人动作作为生成器中的 token 模态,使策略共享点监督的骨干。
论文提出 Video-Point Model(VPM),一个以多视角视频历史和语言指令为条件,联合预测任意视角未来视频与场景持久点3D轨迹的世界模型。作者在预训练世界模型上加入相机条件的多视角处理和轨迹预测头,并构建 VPM-Data 仿真语料与 VP-WorldBench 基准;进一步将机器人动作作为生成器中的 token 模态,使策略共享点监督的骨干。
OpenAI 官网 2026 年 10 月出现 27 个机器人相关岗位,全部在旧金山,base 年薪 17.7 万到 50 万美元,其中 4 个是执行器专属岗,要求候选人端到端主导定制机电执行器开发。
商汤联合大晓机器人、南洋理工等团队测评显示,GPT-6-Astra在12项仿真评测中多项接近满分(LIBERO-Long++达100%、SIMPLE为98.8%),但部署到8个真实机器人平台后,插插头11次尝试全部失败、叠衣服碰壁。其高分还依赖上下文学习(ICL)和放宽至10倍动作步数两项“补药”,家庭长程基准BEHAVIOR成功率仅37.0%。
论文指出 AI 训练随机采样视频时存在两类解码放大:顺序重建无关帧,以及重建采样目标所需的参考链。作者提出依赖感知稀疏解码,只重建被请求帧及其必要参考,无需转码源视频;可选的离线 DDRA 编码将每个内部帧限制在两个帧内编码锚点之间,使每个请求目标的重建不超过三帧。在大型机器人语料上,该方法在相近重建质量下达到 LeRobot v3 的 1.45 倍加载吞吐,媒体数据量减少 58.7%。
CausalAlign 提出一种因果对齐框架,通过线性探针和因果干预定位视频生成模型中相机自运动的表征层,再借助 delta-token 空间将这些层的表征对齐到三维基础模型。在 Wan2.2 上基于 DL3DV 和 RealEstate10K 微调后,几何一致性相对基座模型提升超过 20%,并在 RoboCasa365 移动操作任务上把世界动作模型(WAM)的成功率提高 10 个百分点。
CausGround 提出一种非参数化的因果交互接地框架,将交互经验提炼为以动作为中心的前置条件与效果知识,并在规划时结合当前观测进行反向与正向推理。
TARSphere 提出面向机器人的全栈框架,用于在物理与社会约束下评估长程具身智能体。其 TARSphere-Infra 在带具身 NPC 和受限对话的物理仿真器中运行机器人策略,并用事件驱动有限状态机依据已完成动作与已传递信息更新任务状态;TARSphere-Harness 让冻结的多模态大语言模型通过多级可执行技能、观测、分层记忆和执行反馈修正决策。
作者在两台实体机器人上部署了去中心化多智能体强化学习(MARL),用于多机器人服务多台生产机器的联合任务分配与导航。策略先在 Isaac Lab/Isaac Sim 高保真仿真中训练,随后通过自建的 ROS 2 部署管线零样本迁移到真实机器人,论文见 https://arxiv.org/abs/2609.14567。
AI公司HUMXN在美国明尼阿波利斯、芝加哥和迈阿密三城推出计划,为符合条件的家庭承担水管疏通、电气、暖通空调、风道和地毯清洁等维修费用,条件是技师佩戴可穿戴设备记录作业过程,用于训练AI与机器人系统。
自然意志(Nature Will)近日公开Natura-1模型演示视频,机械手在无人协助下完成包馄饨、打包快递、泡茶、手机贴膜和写毛笔字等操作。Natura-1是500亿参数的混合专家(MoE)模型,数据处理覆盖近100万小时第一视角人类交互数据,可在100毫秒控制回路中驱动20个自由度的灵巧手,并遵循复杂自然语言指令在未见场景中泛化。
Reddit r/robotics 上有人提问:在采集数据前,如何定义一段"可用"的人类演示片段。作者给出的初步清单包括:抓取起始、接触与释放时目标物体是否可见、任务起止点如何界定、手是否始终在画面内,以及是否按人或按场地而非按片段划分留出集。作者还向有演示数据训练经验的人征集:哪一项最常导致返工,以及自己遗漏了什么。
一位刚从健康类高校毕业、刚入行机器人领域的 Reddit 用户发问:高校实验室在论文发表后闲置的视频、动作、眼动追踪、深度感知与专家标注数据,能否用于训练机器人策略,例如外科手术等专业流程。发帖人正在寻找机器人数据管线(采集、清洗、标注、训练)方向的从业者交流。
VAST 开源实时生成式渲染器 EdenLive,属于 Project Eden 系列,上游交互系统维护游戏规则与状态,EdenLive 负责实时渲染画面,支持以白模、2D/3D 场景或真实录像作为参考,更换首帧和提示词即可改变写实、手绘、卡通等外观。
由清华大学、无问芯穹联合北京中关村学院等机构研发的具身强化学习开源训练框架 RLinf 正式发布 v0.4,围绕乐高式真机系统、真机后训练算法、全模态模型支持与国产算力底座四个方向迭代。
推荐理由:梳理了该框架从仿真走向真机训练的迭代脉络,读者可据此了解具身强化学习工程栈的能力边界。
Isaac Lab 3.0 正式发布,官方推荐新项目及 2.x 迁移项目以 v3.0.0 为基础。新版采用多后端架构,统一任务 API,支持 Newton、OV Libraries 等后端,受支持任务无需重写逻辑即可切换物理、渲染和可视化后端,多数工作流无需安装或启动 Isaac Sim。
推荐理由:原文列出了多后端架构和免装 Isaac Sim 的具体变化,以及迁移所需的环境与接口改动,便于判断现有项目升级成本。
论文提出在由2D基础模型(如DINOv2、SigLIP2、DA3)导出的高维隐式3D隐空间中直接进行3D场景生成,用扩散Transformer在该3D隐空间中建模,实现3D接地的场景生成。
Ropedia 发布开放世界模型 W0,用约 10,000 小时第一人称人类视频训练,一套权重可预测人类、机械臂和人形机器人(Unitree G1、Fourier GR-1)的第一人称视角,采用共享的相机加骨骼表示,接入新机器人只需其 URDF。
推荐理由:原文给出了训练数据规模、跨本体迁移方式和实测对比,读者可据此判断该世界模型对机器人策略训练流程的实际影响。
VAST 开源了 Project Eden 系列的实时生成式渲染器 EdenLive,包含 5B、14B 模型权重(各含双向生成与少步流式生成两个版本)、实时流式推理代码、EdenGolem v0.1、前端工作台和技术报告。
前英伟达世界模型团队创立的Dream Labs结束隐身状态,宣布完成9000万美元(约合人民币6亿元)种子轮融资,由B Capital领投,并同步上线Dream API,开放世界动作模型Dream-1。
奥尔特曼在Engadget播客中确认OpenAI将自研人形机器人,并给出2027年拿出亮眼演示、真正走上街头还要再等好几年的时间表。文章复盘了OpenAI从2021年解散机器人团队、2024年领投Figure AI 6.75亿美元B轮、2025年2月与Figure终止合作,到2026年5月成立OpenAI Robotics部门的轨迹。
禾赛科技10月14日发布三维世界数据引擎Kosmo,并推出8K超高清AI空间相机Kosmo One。
浙大高飞团队联合微分智飞推出CrossFly基准,构建23个重建真实场景、15263条完整轨迹,覆盖室内、室外、室内-室外跨域三类任务,配套分层VLA基线CrossFly-Agent,整套仿真数据集、评测协议与基线代码全部开源。
Reddit 用户提出为手-物操作演示设计微型 RGB + 深度记录仪,并用同一合成场景(胸前视角抓取马克杯)对比三种深度方案的单帧模型输出:D405 级立体相机、TMF8829 dToF(48 × 32 区域)与通用 iToF(240 × 180)。
Toyota Material Handling Europe 与 Nvidia、SoftServe 合作,用仿真先行方法在设备进入客户现场前完成测试与验证,目标是把调试工作量减少最多 50%、把自主物料搬运系统的上市时间缩短最多 40%。
一位 AI 工程师开源了 roboreview,用于标注头戴相机拍摄的工厂视频以供机器人模仿学习,把一段5分钟片段的标注时间从40-50分钟压缩到5分钟。流程是先用小模型预测每个步骤,再在审核应用中逐条确认或微调起止点,审核结果导出为训练数据并用于重训模型。
研究团队提出 HandsOn,一个可组合的跨本体灵巧操作仿真平台与基准,支持 5 种机械臂、6 种灵巧手和约 200 个刚性、铰接与可变形资产。基准包含 18,000 条人工示教和 66 个人工校验任务,其中 Core-50 用于示教学习与执行测试,Transfer-16 在无目标任务示教的条件下评测资产与关系迁移、技能组合和可变形操作。
Reddit 用户提出并推进一款面向近距离机器人实验与手-物演示的迷你 RGB + 深度相机概念,Mini 版尺寸 44 x 44 x 30 mm,拟采用 Camera Module 3 + TMF8829 dToF、IMU 与 ESP32-P4,另有 Pi 开发外壳版本。
研究提出 HOLI-WORLD 集成生态,把经验采集、世界表征、自动数据构建、模型学习与独立评测串联起来。HOLIWORLD-Foundry 结合静态与动态感知自动构建世界记录,HOLIWORLD-Data 基于约 100 个自采场景整理出约 80K QA 对,用于训练 HOLIWORLD-VL-4B;独立人工标注的保留录像构成 HOLIWORLD-Bench。
研究提出 AnyGoal 基准与开源库,用于评测世界模型在目标偏移任务变体上的组合泛化能力。任务设计保证单个状态因子和动作仍在训练支持范围内,但其组合在专家轨迹中代表性不足。跨多个环境和世界模型家族的实验显示,当前模型在这些重组情形下普遍出现失败,作者进一步分析了动力学与表征层面的失效位置。
EgoXperience 提出一套覆盖数据采集、自动标注、统一建模与基准评测的完整方案,用于从第一人称视频联合重建观察者运动、场景几何与手-物交互。其核心是自动标注引擎 EgoXX-Engine,将几何校验的目标跟踪与基于 SLAM 的世界对齐结合,产出 50 小时数据集 EgoX-Data-6M(含秒级任务描述)和 1 小时评测集 EgoX-Bench。
论文提出 Stateful Harness 框架,将世界演化与视频渲染分离,用冻结的视频模型渲染事件并回写世界状态,以支持有隐藏状态的规则化交互。作者构建 WorldState-Bench 基准,含 50 组共享初始帧与动作、但隐藏状态和所需结果不同的反事实孪生对。
论文提出InfiniDream,一个由VLM驱动的开放式程序化3D世界生成框架。其核心包括符号约束资产生成(Symbolically Constrained Asset Generation)。
自变量发布 X2Real 仿真评测基准,用于评估具身模型在真实物理世界中的性能,提出可信性、有效性和客观性三个设计原则。经测试,X2Real 仿真评测与真机评测的任务成功率相关性达 0.96、进度分相关性达 0.99,控制参数标定实现毫米级轨迹一致性,覆盖 Franka、ArtiXon Arm-6A、ARX R5 和 Quanta X1 等本体。
Fréchet Forcing 提出一种微调方法,让流式视频世界模型在超过训练时长的长时程生成中保持稳定并继续跟随动作指令。方法在自生成历史接真实数据处施加流匹配损失,用以真实片段自身为中心的 Fréchet 距离约束上下文保真度,并在冻结感知空间中对真实帧做 Fréchet 距离以保证画面真实感,三项约束均来自短视频片段,无需教师模型、在线评判器或长视频。
ScaleNav 提出一个统一的世界-动作框架,通过三阶段训练实现语言条件下的局部导航:先在互联网第一视角视频上做指令条件视频预训练,学习观测如何随相机接近目标而演化,再用带动作标注的仿真数据对齐预测可执行动作块,最后联合微调全部可训练组件。
商汤科技、南洋理工大学等机构联合研究团队推出SenseNova-RoboRSI统一Harness,在RoboDojo的42项任务上将GPT-6-Astra的操作成功率从基础配置的15.83%提升到54.17%,模型参数不变。
Zymbiotek 为 KingKong Robotics 比赛制作了两只开源 Jumper 机器人螃蟹在 MuJoCo 中的桌面对战仿真,动作基于实测舵机扭矩曲线的物理仿真,舞蹈为可在实机运行的强化学习策略。反击上勾拳为真实仿真动作,仅最后翻转为动画——实测一只 Jumper 无法翻转另一只。
HyperDrone 是一个面向高性能批量渲染的四旋翼仿真器,速度比现有先进批量四旋翼仿真器快 20 倍以上。
研究通过120组受控实验考察持续预训练在虚拟世界中的规模化规律,覆盖0.8B到27B四种模型规模、50至1600小时六档数据预算,以及从仅Minecraft到多世界混合的五种数据配比。
中国人民大学 GeWu-Lab 与北京人形创新中心将于北京时间 2026 年 10 月 21 日 19:00 直播分享 Robo-ValueRL 毫米级 VLA 强化学习方案,由胡迪与夏文科主讲。