STRIPS-WM:从图像转移中学习有 grounded 命题式 STRIPS 风格世界模型
CoRL 2026 收录论文提出 STRIPS-WM 框架,仅从图像转移(当前图像、执行的高层动作、结果图像)中学习 grounded 的 STRIPS 风格世界模型。
CoRL 2026 收录论文提出 STRIPS-WM 框架,仅从图像转移(当前图像、执行的高层动作、结果图像)中学习 grounded 的 STRIPS 风格世界模型。
OrbiSim 提出一种机器人仿真范式,把世界模型重构为完全可微的物理引擎,打通结构化场景资产、神经动力学与下游强化学习。整个仿真回路从显式状态转移到视觉观测生成均支持端到端可微,可支持可微接触建模、稀疏奖励下基于梯度的策略优化以及物理推理等任务。实验显示 OrbiSim 在预测保真度和控制性能上显著优于现有世界模型,且对资产配置和物理参数保持一致响应。
一项研究提出结构化编码器-解码器框架,用非线性历史编码器捕捉空中操作平台与机械臂的时序及交叉耦合残差动力学,线性潜空间解码器支持部署时快速适应。该框架参数线性结构可闭式贝叶斯更新并与实时模型预测控制(MPC)集成,在真实空中操作平台上实验显示残差预测精度提升、动力学变化后快速适应,且载荷变化条件下MPC跟踪误差降低。
HyVGGT-VO 提出一种混合稠密视觉里程计框架,将传统稀疏 VO 的高频位姿输出与前馈模型 VGGT 的稠密重建能力结合,据称是首个把传统 VO 前端与 VGGT 紧耦合的工作。
PanoAir 提出一套全景视觉-惯性 SLAM(VI-SLAM)框架,并构建了覆盖不同光照、高度、轨迹长度和运动动态的真实世界全景数据集。方法通过全景特征提取与全景回环增强特征约束和全局一致性,在自建数据集和公开基准上跑完全部 17 个序列无跟踪失败,相比最优基线将 ATE 最多降低 47.1%,嵌入式平台部署验证了其计算效率与 PC 实现相当。源代码与数据集已公开。
OxyGen 提出统一 KV cache 管理的推理设计,把 KV cache 作为跨任务、跨控制周期的共享资源,通过跨任务 KV 共享消除共享观测的冗余 prefill,并用跨帧连续批处理在每帧解码预算内推进未完成的语言请求。
一项发表于 IEEE RA-L 2026 并在 IROS 2026 展示的研究提出了一种基于高斯过程(GP)与稀疏路径点的机器人技能适应框架,通过利用轨迹位姿的一阶与二阶解析导数来保持技能的运动学特征。该框架包含三种适应方法:优化智能体、行为克隆智能体和强化学习(RL)智能体。在开抽屉、推立方体和操作横杆三项任务的仿真与实机评估中,其成功率均优于所有基准方法,并展现出高余弦相似度与低速度幅值误差。
HydroShear 是一个非完整约束的流体弹性触觉仿真器,被 RSS 2026 接收,用于解决接触密集任务的触觉 sim-to-real 策略迁移问题。它建模了黏滑转换、路径依赖的力与剪切累积以及完整的 SE(3) 物体-传感器交互,并用有符号距离函数(SDF)追踪压头表面点在与传感器膜交互时的位移,可从任意水密几何生成物理基础且计算高效的力场。
TRAIN 提出两阶段深度强化学习框架,通过 TRAIN-Loco 与 TRAIN-Nav 两条流水线,让四足机器人在非结构化地形与有人环境中实现地形感知导航。基准测试对比了四足运动与机器人导航基线,硬件实验验证了其仿真到现实(sim-to-real)迁移潜力。
Schrödinger's Navigator 是一个面向零样本物体导航(ZSON)的信念感知框架,在推理时对多条候选路径生成的轨迹条件化想象 3D 未来进行推理,而非过早收敛到单一地图。
该研究对视觉-语言-动作(VLA)基础模型的置信度校准展开首次系统研究,建立VLA置信度估计基线,考察任务成功率与校准误差的关系以及校准随时间的变化,并提出提示集成(prompt ensembles)和逐动作Platt缩放两种轻量技术来修正观察到的失准问题。论文共34页、7张表、22张图,已发表于TMLR并完成最终版本。
StopWatch 论文诊断出目标锚定(goal grounding)是当前基于视觉-语言模型(VLM)的目标导航策略的主要失败原因:这些策略探索表现良好,却常未能注意到目标已在视野中或估计其距离。
SparseMax-dSTL 提出一种基于稀疏投影的信号时序逻辑(STL)鲁棒性平滑近似,其值始终低于精确鲁棒性因而具备可靠性,且误差上界与采样数无关、可在优化前确定。
作者提出自建实验室(SBL)系统,可根据高层科学目标设计、配置并运行实验室装置,从空房间或已有自驱动实验室起步,补齐实验室布局、数字孪生、机器人技能与实验流程。系统在多种机器人与装置上演示,可从单工作站扩展到多机器人协同的实验室,并通过真实量子点合成实验验证端到端能力。作者称这让人工研究者的角色从手动配置和编程设备自动化转为指定科学目标。
Structural Affinity 是一种针对笼基变形(CBD)的显式正则化方法,通过双笼结构与均值坐标预计算的亲和矩阵耦合内外控制笼运动,使控制柄位移平滑传播到相邻控制柄,大幅减少甚至消除笼自交与网格畸变,且变形时仅增加线性开销。
论文发布三模态人体检测数据集 TriSAR-3D,用 128 通道激光雷达、RGB 相机和热成像相机在室内外、不同时段采集,覆盖躺卧等多样姿态;同时提出融合方法 PaintFusion。
论文提出EmbodiedMidtrain,通过中训练弥合视觉语言模型(VLM)与视觉-语言-动作模型(VLA)之间的差距。作者先刻画两者数据分布差异,发现VLA数据占据与VLM分布大体分离的紧凑区域,随后构建中训练数据引擎,用轻量可学习的邻近度估计器从大规模VLM池中筛选与VLA最对齐的候选,产出EmbodiedMidtrain-1M数据集用于中训练VLM。
该研究训练只观测关节位置、速度与自身动作短历史的盲装配策略,不使用视觉、力、扭矩或触觉传感,在仿真中用强化学习完成插销、齿轮啮合与螺母拧紧。插销策略零样本迁移到真实世界,73% 试验中成功插入不同形状和尺寸的插销;对照实验显示盲策略对未见零件形状尺寸的泛化更好但可能更慢。
MOSS(Multimodal Origami Swamp Robot System)是一款紧凑型两栖机器人平台,采用3D打印折纸轮,通过曲柄机构在收缩与展开构型间切换,同时改变轮宽、轮径和鳍片朝向。
论文提出进度估计器 PRIME,用于机器人操作强化学习中生成稠密奖励信号,从不精确的示范数据中学习精确的任务进度估计。PRIME 在观测状态上构建加权图,按空间邻近性和视觉一致性跨轨迹连接状态,边权重编码空间距离作为转移代价,用最短路搜索近似到达成功的测地距离,其变化可区分前进、停滞与倒退,无需假设进度随时间单调。
arXiv 论文 Learning Robot Metareasoning 提出将最优计算预算的确定建模为半马尔可夫决策过程(SMDP),一次决策同时决定机器人动作承诺时长与求解器分配时间。作者训练了一个以当前状态、执行中规划和低成本规划器统计为条件的强化学习策略,在地面机器人导航、敏捷四旋翼飞行和接触丰富操作三类任务上,该策略随场景需求调整预算,表现优于固定预算基线。
TransNav提出一种基于Transformer的四旋翼无人机端到端导航方法,可在静态与动态混合障碍环境中实现避障。该方法采用基于patch的点云编码方案,将感知与导航整合在单一架构中,直接预测有限时域动作序列并执行首个动作;同时引入轻量级质点动力学模型,通过数值梯度传播优化轨迹级代价,实现无需专家演示的无监督训练。
论文将 FOUND-IT 集成到移动操作机器人平台,验证基于基础模型的 3D 场景图可支持物体变化检测、多轮建图会话、可导航路径判定以及场景重排任务中的物体抓取。作者基于严格的实机实验,给出单目、基础模型驱动的 3D 场景图构建系统在有效性与局限性方面的分析。代码已在 GitHub 的 MIT-SPARK/FOUND-IT 仓库开放。
论文提出 Hindsight Inverse JEPA Planning(HIJP),用目标条件逆模型直接从当前与目标观测预测动作,替代潜在世界模型中代价高昂的测试时动作序列优化。
TRACO框架通过闭环优化增强针对视觉-语言-动作(VLA)模型的定向视觉攻击,其Execution-Driven Supervision根据攻击下实际到达的状态重建监督信号,Progress-Guided Selection则在任务进展停滞处集中更新并保持对先前行为的监督。在多个VLA模型与仿真环境中的实验显示,TRACO提升了任务重定向成功率,凸显了闭环攻击优化的安全影响。
该研究提出一种具身感知规划方法,用两个配备不同简易夹爪(吸盘与平行夹爪)的 Franka FR3 手臂协同完成单个夹爪无法可靠执行的操作任务。给定一段人类演示指定的物体期望运动,规划器在有限时域内优化手臂轨迹分配,逐段判断需要单臂操作还是双臂协调交接,并综合考虑异构抓取可行性、运动约束、可操作度与跨夹爪兼容性,同时计算全局一致的分配并加入显式切换正则化。
该论文提出一种理由引导的偏好强化学习(PbRL)框架,从轨迹级反馈中学习人类奖励模型,在偏好标签之外引入解释行为为何被偏好的理由标签。相比仅用偏好的奖励学习,该方法为学习人类对齐奖励提供额外监督,并提升策略的可解释性。学习到的人类奖励与环境奖励结合用于策略优化,使智能体在提升任务性能的同时产生更可解释、更符合人类偏好且对齐人类意图的行为。
论文提出一种基于强化学习的四足移动操作全身控制框架,用于复杂地形下的四足 loco-manipulation。该框架结合混合任务表示与任务优先级全身学习,协调移动与操作并保持任务一致的末端执行器行为;作者还研制了轻量级四足移动操作平台进行验证,实机实验在最大30度斜坡、台阶和可变形地形等复杂地形上成功部署。
FLoTS-SLAM 提出从光流与相机运动诱导光流的残差中推导运动不确定性,用于动态场景下的单目RGB SLAM。系统先用高置信像素估计相机位姿,再重投影动态像素联合优化位姿与深度,减少物体运动对位姿和深度更新的影响。在 DAVIS 上动态掩码平均 IoU 较先进基线提升 35%,在 Bonn 和 TUM 上相对所用 SLAM 骨干的平均 ATE 分别降低 59% 和 19%,源代码将公开。
HexaShell 是一个让编码智能体通过命令行控制双臂机器人的轻量框架,在 RoboDojo 全部 42 项任务上取得 39.7% 成功率和 48.0 进度分,为 RoboDojo 新的最优成绩。
研究团队在Shadow Dexterous Hand Lite上仅用本体感觉和二值触觉反馈完成Baoding球旋转,实现零样本仿真到现实迁移。实机单次连续试验完成225次180°旋转(112.5整圈),速度约0.36转/秒,全程无视觉与物体状态信息。作者还对比触觉与纯本体感觉的作用,指出触觉信息最关键的手部区域。
AWAM(Active World-Action Model)提出一种虚拟主动感知范式,主动规划观察位置并在执行前沿规划轨迹想象将看到的内容,把预测的任务相关虚拟相机运动作为对几何条件世界模型的结构化查询,得到可复用的空间先验,压缩为固定记忆后与实时观测通过交叉注意力融合,用于扩散式动作预测。
论文提出 ActiveAlign 数据适配框架,解决主动相机运动产生的初始观察状态与操作策略训练分布不匹配的问题(first-frame distribution sensitivity):在 LIBERO 上把相机重定位直接接到 pi_0.5 前面会使成功率从 46.3% 降到 11.5%。
论文提出面向视觉-语言-动作(VLA)系统的干预式记忆评测协议(IMEP),用于判断记忆是否真正影响机器人决策,涵盖记忆净收益、起效条件、对任务结果的改变以及效应是否针对任务相关事实四个问题。
作者提出 LAW 闭环 VLM-WAM 框架,通过语义子任务进度把语言推理、动作生成和世界建模统一起来,在 50 项 RoboTwin 任务上平均成功率达 94.21%。
arXiv 发布一篇综述,系统梳理长时程机器人视觉-语言-动作(VLA)模型的记忆机制,按记忆范围与持久性将其分为五类代表性范式和一个新兴前沿。综述从记忆特性、架构复杂度和开源成熟度三方面对比代表性VLA记忆系统,发现架构复杂度提升通常伴随开源成熟度下降的取舍,并讨论了高效记忆管理与终身知识演化等构建全生命周期记忆系统的关键挑战。
SkyAgent 提出 Revisable Target Memory(RTM),针对持续空中搜索中证据矛盾后旧候选仍触发接近或验证动作的问题(作者称为 false candidate persistence,FCP),将证据与持久候选关联、抑制相关视角重复计数,并让候选在 Tentative、Confirmed、Rejected 三态间修正。
CoEvolve 是一个把团队协同表示为固定机器人运动技能之上可执行代码的框架,通过验证器引导的协同演化让多模态基础模型实例化协同策略,物理验证评估每次执行转移,被拒绝的行为触发从已接受检查点出发的结构化修订。
LY-GWM-RoboCasa-Human300 结合 Human300 微调的 GR00T-N1.5 动作生成器、动作条件图动力学模型与二元状态奖励评分器,推理时采样 4 个动作块并执行预测状态奖励最高的候选。
NeurIPS 2026 接收的论文 NestedVLA 提出用嵌套超网络按目标任务生成任务自适应的动作专家参数,与冻结的基础 VLA 组合,以参数生成替代参数聚合,缓解多任务训练干扰。