Rollback:用世界模型回溯经验改进机器人策略
Rollback 提出一种策略改进范式,让世界模型回退到关键决策点、分支尝试不同动作并对比结果,从而把反事实结果蒸馏为动作级监督,无需单独学习价值模型。在方块抽取、抛球和桌面冰壶三项真实任务上,成功率分别比最强基线绝对提升 10.67%、11.11% 和 11.85%,抛球与桌面冰壶在训练 8 小时内超过人类玩家平均成功率。
Rollback 提出一种策略改进范式,让世界模型回退到关键决策点、分支尝试不同动作并对比结果,从而把反事实结果蒸馏为动作级监督,无需单独学习价值模型。在方块抽取、抛球和桌面冰壶三项真实任务上,成功率分别比最强基线绝对提升 10.67%、11.11% 和 11.85%,抛球与桌面冰壶在训练 8 小时内超过人类玩家平均成功率。
Era AI Lab团队提出E0.5,一个直接构建在3D基础模型上的几何原生世界-动作模型,把3D几何作为世界建模与动作预测的原生表示,并显式预测未来3D状态与动作。
研究提出 Just Action Model(JAM)框架,把 VLA 与 WAM 的差异拆解为骨干初始化、未来观测目标和推理时是否保留该损失机制三个可分离选择,用预训练视觉骨干加动作专家、以动作损失和前瞻损失训练。
ThinkWorld 是一个 VLA 学习框架,把每个动作思考表示为动力学链(CoD),即一串离散运动 token,用来刻画从当前世界到未来状态的中间动力学,并作为跨本体的通用动作表示。
上海今控科技10月26日宣布完成数千万元天使轮融资,由鼎晖VGC领投,上海交大菡源资产、国科绿色基金、灵巧智能跟投,资金用于太空机器人核心器件研发、在轨验证及产品工程化。
研究者提出 SO-101 Bench,这是基于真实 SO-101 装置 Isaac Lab 数字孪生的语言条件空间操作仿真基准,包含四类任务、138 个物体、916 个评测回合和 3,629 条仿真示教。
Google DeepMind 发布新一代世界模型 Genie 4,单次交互模拟时长从约一分钟延长至两分钟,并首次支持原生音频生成。
一个仿真中的Franka Panda在PyBullet里用Stable-Baselines3的PPO学习抓起方块并放到目标垫上,项目目的是理解PyBullet及强化学习训练机器人的完整流程。后续计划加入文本或语音提示,让用户选择抓取哪个方块并放到指定位置,代码已在GitHub发布。
Google DeepMind 发布 Genie 4,这是一个可用自然语言操控的实时逼真世界模型,新增原生音频并改进碰撞、空气动力学等物理表现。该模型可为机器人和智能体生成无限可变、可操控的训练环境,并已与 Gemini 4 Argon 和 Gemini Robotics 配合,在仿真中让 Apptronik 的 Apollo 人形机器人分步完成下跳棋任务。
这是 Genie 4,我们迄今最逼真、最具交互性的世界模型。🌐 实时探索动态环境,观察场景如何响应、发出声音,以及其中的人物如何移动、反应和说话。
苏州国家实验室、上海人工智能实验室与上海交通大学等联合推出“材华·MatVerse”材料多模态大模型及智能体应用体系,采用“独立编码器+统一解码器”架构,将XRD谱图、电镜图像和分子结构对齐到同一语义空间。
推荐理由:材料给出多模态统一表征架构与19类学科评测基准,可了解材料大模型如何从检索走向机理推理。
Intel 与 SAP 合作打通企业 IT 系统与控制物理设备的运营技术,并通过概念验证(PoC)演示物理 AI 自动化仓库物料搬运。该 PoC 将 SAP EWM 的业务请求下发至搭载 Intel 边缘 AI 软硬件的自主机器人,机器人运输物料并回传任务状态,形成企业工作流与物理执行的闭环,演示中减少了运输距离和重复人工搬运。
AI公司HUMXN在美国明尼阿波利斯、芝加哥和迈阿密推出维修费用补贴计划,居民允许技师佩戴录像设备记录水管维修、电气维修、暖通空调维修、风道清洁和地毯清洁过程,录像用于训练AI与机器人系统。参与技师使用可穿戴采集设备记录检查现场、选择工具和处理故障的过程,数据经处理后授权给AI与机器人研发机构。公司称会对画面中的身份识别信息做模糊或移除处理,并在住户同意后才安排服务。
原力无限首席科学家陈佳玉在甲子光年专访中判断,GPT-6 Astra 等通用大模型会把任务规划(Planner)部分全部吃掉,团队因此不再继续投入部分高层记忆机制研究,转而聚焦物理世界中的执行能力。
2026年10月26日,机器人产业应用在苏州工业园区举办具身智能数据闭门研讨会,二十余位模型、数据、场景落地与芯片基础设施一线决策者参与。数据厂商认为具身数据需求远未饱和,但模型厂商提出创业公司难以无限堆数据;场景侧则强调降本增效与算账逻辑,并讨论触觉电子皮肤量产与标准化问题。
清研精准在SAECCE 2026期间正式发布车规级Tsing-Ego PRO第一视角数据采集方案,预订同步开启。该方案整合多视角同步拍摄、车规级可靠、轻量化佩戴与端侧质检,作为其首创RIL(机器人在环)中试系统的数采工具,为机器人训练、验证与现场应用提供高质量数据。工业级Tsing-Glove无感数据采集手套即将上线,首批合作客户可享优先中试、场景工位适配与订单对接权益。
USV 宣布与 Creandum 联合领投 Machenta 的 4000 万美元种子轮,该公司同时走出隐身状态。Machenta 称其机器人基础模型完全在仿真中训练、不含真实世界数据,只需一次演示即可学会任务且无需额外训练,并能在环境变化时适应。
推荐理由:USV 作为联合领投方解释了 Machenta 的单次演示学习为何值得下注,读者可据此了解该融资背后的技术主张。
视比特机器人在2026中国海洋经济博览会上展示船舶制造用双机协同焊接工作站、人形焊接机器人样机、残材智能扫描系统、钢板麻点3D检测系统及坤吾工业仿真平台。SpeedWeld智能焊接控制系统支持3D结构光相机逆向建模生成焊接轨迹,最高可将换产调试周期缩减90%,最新SpeedWeld2.9版本支持双机协同、异步焊接、独立焊接等模式。
群核科技、Meshy与影眸Hyper3D在ACC 2026 AI创造者嘉年华上讨论了中国AI 3D公司领跑的原因。群核已推出空间生成模型SpatialGen并探索3D生成模型Aholo Lux3D,其材质最高达九通道;影眸Hyper3D推出Agentic Mode,从Production Ready走向Agent Ready。三家公司认为,国内高质量3D数据、生产管线生态与人才积累是主要优势。
哈尔滨工业大学(深圳)与新加坡国立大学等机构提出 SkeLAM,基于 Cosmos-Predict2.5-2B 用约 10 小时机器人交互数据训练,以机器人骨架监督视频中的潜在动作。
Ropedia 在 10 月 19 日至 23 日的第一届 Ropedia Super Week 上集中发布六项研究,围绕人类第一视角视频如何转化为机器人可用的训练与执行信息。
推荐理由:六项研究集中回答人类第一视角数据如何转成机器人可用的训练与执行信息,并给出跨本体与真机对照结果。
RoboParty发布全栈开源人形机器人RP1,从机械图纸、电气系统、自研ROMOMO关节到底层控制、仿真训练和部署整条链路向开发者开放。RP1身高135cm,开源版24个主动自由度、Pro版30个,峰值扭矩覆盖25~160N·m,采用48V供电与CAN-FD通信,配套软件为500Hz控制频率和50Hz策略更新频率。
清华大学研究团队提出 SimpleTouch,在预训练 VLA π0.5 上加入触觉专家,仅用每任务 50 条示范做单阶段训练,无需额外触觉策略预训练或独立对齐阶段。
禾赛科技的空间扫描方案Kosmo被皮克斯写进3D渲染教程,用于采集真实场景的3D高斯泼溅数据。Kosmo由手持采集端Kosmo One和云端重建端Kosmo World组成,Kosmo One集成定制激光雷达、最高8K影像系统、一英寸CMOS和高精度IMU,四类传感器在硬件层做微秒级时间同步与出厂外参标定。
EmbodiedLab 是一个要求机器人“通过行动获取知识”的基准,覆盖 5 个学科、14 个实验装置平台上的 30 个定量科学实验,每个实例的参数都会重新采样,因此结果无法预先得知,但可以精确评分。
Intel 与 SAP 合作打通企业 IT 系统与仓库运营技术(OT),并用概念验证(PoC)演示了物理 AI 自动执行物料搬运。SAP EWM 中发起的请求被派发给搭载 Intel 边缘 AI 软硬件的自主机器人,机器人运输物料并将任务状态与完成情况回传,形成企业工作流与物理执行的闭环。该 PoC 显示运输距离缩短、重复人工搬运减少,双方计划将其转化为可跨站点、机器人厂商和用例复制的蓝图。
Kinetix AI 发布 KAI World Model,该模型基于并行视频生成与 4D 空间建模,可同时生成虚拟世界并重建空间场景。模型在数百万视频上预训练,支持纯移动、纯操作以及移动与操作协同任务,并声称可跨任务与跨机器人本体泛化。实机演示包括机械臂自主打开饮料罐和人形机器人实时乒乓球对打。
推荐理由:原文展示了世界模型在机械臂开罐与人形乒乓球对打两类任务上的实机演示,可据此了解其跨任务与跨本体的泛化思路。
小米技术披露仿生灵巧手探索成果,基于小米汽车工厂1827个标准作业程序(SOP)采集分析,设计出全新21自由度仿生灵巧手。仿真消融分析显示,17~21自由度区间平均稳定抓握成功率较6~15自由度提升15%~38%,自由度升至23及以上时提升明显放缓。该灵巧手采用混合驱动与腱绳张力控制方案,并对散热体系和全掌触觉做了系统性优化。
北京人形机器人创新中心宣布,其开源数据集 RoboMIND 全球累计下载量已突破 5000 万次,最近 1000 万次仅用 18 天。该数据集开源释放 40 万条以上双臂操作轨迹、覆盖 700 项以上实操任务,支持双臂协调、移动操作、灵巧手与触觉感知。其数据基地占地近 6000 平方米,年数据产能可达 18 万小时,已对外交付近 3 万小时高质量数据。
智元于 10 月 27 日发布具身 Agent 框架 Genie Master,让机器人在部署后自主定位失败原因、调整策略并沉淀经验。该框架以具身执行协议 EEP 统一能力、引导、反馈和连续性四类接口,并通过 Harness RSI 与 Policy RSI 两条路线分别把经验保留在提示与记忆、动作策略参数中。
Gazebo 麦轮小车仿真中出现仿真车能跑但麦轮轮子不转的问题,排查方向是先确认是否使用了 planar_move 插件。作者为一个插件调了一整晚参数。
作者提出世界动作模型 Video Prediction Policy 2(VPP2),通过大规模操作视频的事件级预训练、将视频模型蒸馏为单步视觉规划器,并用 MoT 架构接入动作模块学习隐式逆动力学。
作者提出 JRDB-AVR,一个基于真实 JRDB 机器人数据构建的主动视觉推理基准:具身智能体收到视觉推理问题后,需按时间戳和视角请求有限观测,评估同时考察最终答案与支撑答案的视觉证据。
ICLR 2026 论文重新检验了“可微仿真器能否给出更好的策略梯度”这一问题,指出不连续动力学带来的偏差并非主要障碍。作者提出轻量测试 DDCG,在非光滑区域切换估计器,仅需一个超参数且小样本下仍可靠;同时提出逐步骤逆方差实现 IVW-H,在可微机器人控制任务中无需显式检测不连续即可稳定方差。结论认为,估计器切换能提升受控实验中的稳健性,而实际部署中方差控制往往更关键。
研究团队提出一套面向农业到达与抓取的仿真到现实机器人学习框架,基于 MuJoCo 搭建含多种番茄植株结构的农业环境,用摇杆遥操作采集专家演示。Octo 和 π0.5 两个预训练通用策略先用仿真演示适配,再在 Franka Research 3 机械臂上用真实演示微调。结果显示 π0.5 的任务表现分数高于 Octo,在视角与空间偏移等分布偏移下退化更小,研究还考察了本体感知信息对策略性能的影响。
CLARO 是一个 VLM 智能体,调度开放词汇目标检测、分割、6-DoF 抓取和非抓取推挤等技能,在杂乱环境中定位并取出语言指定的目标。它记录历史动作以支持长程执行,并输出抓取位姿或 3D 路点,从而无需任务特定训练即可迁移到不同机械臂。在动态仿真环境中,CLARO 平均成功率为 89.1%,在高杂乱场景中相对最强对比方法提升超过 16%;在真实机械臂上成功率为 88.8%。
作者提出 PlayPolicy 框架,机器人先通过行为克隆从数分钟人类玩耍数据中学得玩耍策略,再自主部署采集数小时交互数据训练世界模型,推理时由该策略为模型预测控制(MPC)提出候选动作序列。
作者提出一种巡检规划框架,用基于分类变分自编码器(VAE)的学习式相机信息度量替代几何可见性检查,以应对轨道光照剧烈变化导致的巡检失效。该方法在逼真物理仿真器中实现制导、导航与控制架构并测试多种轨道光照与视角,平均亮度达0.57、81.6%的观测高于0.25,而带光照带的几何规划为0.02(3.0%)、纯几何规划为0.04(6.0%)。
研究者提出 CapPro 框架,让视觉-语言-动作(VLA)策略仅凭一段人类演示视频就能适配此前未见的操作任务,无需目标任务的机器人演示或微调。该框架包含阶段感知的人类视频表示模块和视频条件适配模块,前者通过视觉 token 选择与阶段描述监督学习任务相关查询表示,后者将紧凑视频与查询表示注入预训练 VLA 策略的动作条件上下文。
OneDemo 提出一种强化学习框架,把单条成功演示编辑成适配新任务配置的轨迹,学到的编辑器既作任务策略也作可复用的演示生成器。在 15 个 Meta-World 任务上,它平均用 53.7k 次环境交互达到 92.7% 成功率;在 9 个 DexMimicGen 任务上生成演示的平均成功率为 98.4%,用生成数据训练的 BC-RNN 策略在同等数据规模下平均成功率达 99.6%。