一句话能修复什么:冻结 VLA 策略的失败分类与最小语言纠正
作者对 OpenVLA-OFT 和 pi0.5 在分布外 LIBERO-90 任务上的失败逐一标注,归纳出四类失败模式,其中只有执行错位一类能靠一句回顾性语言纠正修复。
作者对 OpenVLA-OFT 和 pi0.5 在分布外 LIBERO-90 任务上的失败逐一标注,归纳出四类失败模式,其中只有执行错位一类能靠一句回顾性语言纠正修复。
该研究提出用仿真中的采样模型预测控制(SMPC)作为自动专家生成大规模离线数据集,再用纯稀疏任务奖励训练离策略强化学习智能体,从而免去稠密奖励的人工设计。高层智能体与低层动态稳定控制器结合后,学到的策略在任务目标上可超过原始最优控制教师。作者在搭载机械臂的 Spot 四足机器人和 G1 人形机器人上完成仿真到现实部署,论文为 CoRL 2026 录用版本。
SHRIMP 系统让用户用自然语言自动生成分层机器人基元计划,并通过重新提示和显式修正迭代修改计划。每次修改后用户可在仿真中验证计划,满意后再在实体机器人上执行。一项 35 人参与的桌面厨房任务规划用户研究表明,SHRIMP 提升了用户的感知控制感和机器人透明度。
研究提出接触隐式、基于直接仿真的多重打靶框架 DSMS,将运动学可行的参考动作转换为动力学可行的全身轨迹,并在非线性规划内处理接触、摩擦、碰撞与关节限位,无需预设接触时序。相比现有重定向方法,DSMS 加快运动模仿强化学习训练,策略成功率高、跟踪误差低。作者在 Unitree G1 上实现零样本仿真到现实迁移,完成行走、慢跑、接触丰富的爬行以及 180 度跳跃转身。
研究提出分阶段多智能体训练(SMAT)方法,在物理仿真中联合训练肌肉骨骼人体智能体与双侧髋关节外骨骼控制策略,学习考虑人机协同适应的辅助策略。该策略未经受试者个体化重训练即迁移到实体髋关节外骨骼,在八名健康成年人中测试,间接测热法显示主动辅助相对被动装置使净代谢率降低19.7%(p < 0.001),髋关节机械功率正功率比为0.984,并在训练条件之外的步行速度与地形上保持有效辅助。
论文提出一个与机器人无关的柔顺控制框架,通过插件式执行架构把 ROS 控制器样板代码与控制律实现分离,并扩展了 ROS 控制生态。框架用 Pinocchio 从 URDF 模型计算机器人运动学与动力学,标准化关节和笛卡尔指令接口支持运动参考、刚度与阻尼增益、零空间目标、期望交互力旋量及独立前馈输入。
该论文提出面向四足机器人经被动臂搬运载荷的 ZMP 建模方法,把被动接口的刚度、阻尼和载荷质量与 ZMP 响应关联起来,并指出轻阻尼被动模态可能与步态谐波重叠。
LaWAM 提出潜在世界动作模型,通过紧凑的潜在视觉子目标而非重建未来视频,把预测动力学暴露给机器人策略。其核心 LaWM 在预训练视觉基础模型的潜在空间中训练潜在动作模型,并复用其前向解码器预测未来观测特征。
GeoHAT 是一个端到端扩散策略框架,用轻量 Fourier 空间编码器把逐像素三维坐标映射为几何 token,再按深度有效性门控注入视觉基础模型特征,无需额外 3D 视觉骨干。
研究提出一种基于模型预测路径积分(MPPI)控制的时空信息规划方法,用于水面无人艇(ASV)搜索并捕获多个漂移目标。规划器通过代价设计耦合目标漂移预测与探索目标,在长时域上优化连续轨迹并直接生成运动学指令,拦截阶段使用纯追踪制导完成物理捕获。仿真中捕获目标数比最强基线多 18%,并在实艇试验中验证了该方法。
作者提出 PRISM,从冻结的潜在世界模型编码器特征中训练轻量动作头,得到目标条件动作先验,并用其均值和预测不确定性引导动作搜索,再由世界模型评估动作后果。在四个仿真控制任务和两个真实机器人平台上的实验显示,该轻量动作头提升了规划性能,同一融合接口还能在不修改的情况下接入基于相同冻结特征的扩散先验。
作者提出 MRO-GWM,一种以物体为中心的高斯世界模型,用于学习三维刚体对象的动作条件动力学。模型用物体坐标系下的高斯表示任意形状与多物体场景,并通过时序-空间 Transformer 从历史高斯和未来动作预测刚体运动;训练基于多视角重建,需处理遮挡导致的局部观测。
作者提出 Crazyflow,一个基于 JAX 的可微无人机仿真器,把高保真动力学与 GPU 加速结合,可在单 CPU 和 GPU 上扩展到数百万环境或数千架无人机的集群。实机实验显示,它支持解析梯度策略学习,无需域随机化即可实现高精度跟踪,采样式避障速度超过每秒 5 亿步。作者还演示了飞行中强化学习:把实体无人机抛向空中后,从零训练恢复策略仅用 0.37 秒,并在落地前接住。
作者提出 Haptic Sorter 统一基于模型的几何框架,把机器人触觉感知、建模与操作规划结合起来,用于物体形状和位姿未知时的操作。框架用贝叶斯优化引导触觉探索并以超椭圆近似几何边界,用编码物体几何的自适应操作势描述准静态机器人-物体交互,还提出基于模型预测与触觉反馈的在线常微分方程实现实时位姿推断。系统在 2D 机器人分拣任务上部署,通过改变物体几何在仿真和真实多臂装置中验证鲁棒性与泛化性。
CoMo3R-SLAM 是一个面向户外多智能体系统的协作单目稠密 SLAM 系统,以学习式前馈三维重建先验为核心,用稠密点图锚定各智能体间的尺度,并提供足以几何验证智能体间关联的对应关系。
论文提出未来经验条件化(FEC),用短时未来视频的隐表示作为闭环策略的条件,用于多步机器人操作中的探索与策略适应。未来片段分三步生成:LLM 推理器基于当前场景状态初始化的任务本体推理、无机器人数字孪生推演目标物体运动、无掩码视频扩散模型合成与机器人一致的未来片段。
WorldArena 2.0 发布,从模态、功能与平台三个维度扩展具身世界模型评测。模态上从纯视觉扩展到视触觉,功能上从策略评估与规划扩展到把世界模型作为交互式强化学习环境用于策略优化,平台上从仅仿真扩展到多种仿真与真实机器人本体。该基准按统一协议评估感知质量、交互效用与跨平台表现,项目页提供代码与演示。
RoboEvolve 将 VLM 规划器与 VGM 模拟器耦合成相互强化的共同进化闭环,用无标注种子图像自举,缓解操作数据稀缺问题。实验显示其将基础规划器提升 30 个绝对点、模拟器成功率平均提升 48%,仅用 500 张无标注种子图像即超过全监督基线,初始强化学习数据减少 50 倍。
BEACON 提出一种理论引导的跨域协同训练框架,用充足源演示与有限目标演示训练基于扩散模型的视觉运动策略,并将协同训练建模为差异感知的重要性重加权问题。方法引入可扩展的实例级差异代理、策略与权重的随机交替更新以及多源扩展,在 sim-to-sim、sim-to-real 和多源操作设置中相比仅用目标数据、固定比例协同训练和特征对齐基线提升了鲁棒性与数据效率。
论文提出 Semantic Autonomy Stack(SAS)六层集成框架,在已验证的 ROS 2/Nav2 基础上构建语义推理、任务接口与运行记忆层,采用确定性优先的级联策略,把未解决或受保护的情况升级给预训练视觉语言模型(VLM)。
作者提出一个统一系统,在未知且动态的环境中同时约束全身轨迹的碰撞风险与抓取时的目标可见性,包含速度感知注视策略、分层子目标策略和滚动时域全身规划器三部分。在 400 个随机仿真场景和 Fetch 移动操作机器人的实机试验中,未知静态环境成功率为 70.4%,动态环境为 57.9%,分别比解耦的导航与操作策略高 16.3 和 9.3 个百分点,并显著减少碰撞。
论文提出一种基于串入并出(SIPO)移位寄存器的可扩展模拟传感器读出架构,传感器模块间仅用三根信号线即可扩展。作者在腱驱动灵巧手上集成16个关节传感器模块和1个四通道触觉传感器模块,实现20个通道1 kHz全扫描、最高1.5 kHz稳定运行;关节传感器最大斜率绝对百分比误差0.446%,触觉侧用LSTM模型在1 kHz下完成力估计与接触位置分类。
SentryVLA 是一种面向冻结 VLA 策略的轻量运行时包装器,无需重训或改动模型架构。它在动作层用保形分位数回归估计采样动作与专家行为的偏差上界,据此对多个随机候选动作排序;在执行层用马氏距离异常分数监测闭环控制中的异常状态。仿真与实机实验显示,该方法改善了动作选择,并能给出有用的运行时告警信号。
AffordSim 是一个可扩展的数据生成器与基准,将开放词汇三维可供性预测接入仿真轨迹生成,按自然语言任务描述合成场景、生成可供性查询并采样区域约束抓取,再用运动规划筛选可执行候选。
ArrayTac 是一个闭环压电触觉平台,可在 4×4 执行器阵列上同时连续渲染形状、刚度和摩擦三个触觉维度。每个单元集成三级微杠杆放大器和末端霍尔效应反馈,位移可达 5 mm,阵列刷新率超过 500 Hz,闭环带宽为 123 Hz。
PrepTurn 是一个用于连续局部导航预判机动的强化学习框架,它把当前与下一个位姿目标直接映射为关节动作,让即将到达的目标影响机器人接近当前目标的方式。该框架用持续奖励鼓励在移动中完成整段目标序列,并用逐步提高目标难度的自动课程学习稳定转向行为;仿真与 Unitree Go2 机载实验显示其顺序穿越完成率高、走走停停减少。
RoboGene 是一个面向单臂、双臂和移动机器人的智能体任务生成框架,用于在 VLA 预训练前自动产出多样化操作任务。它结合多样性驱动采样、智能体自我反思评估任务质量,以及经人工核验的反馈记忆做执行验证与持续改进,共采集 1.8 万条轨迹,并引入任务可行性与多样性指标。
FlowHOI 是一个两阶段流匹配框架,以第一视角观测、语言指令和 3D Gaussian splatting 场景重建为条件,生成包含手部姿态、物体姿态与接触状态的语义落地手物交互序列。
UniManip 提出以智能体操作图(AOG)为核心的统一框架,用于开放世界机器人操作的任务编排、状态跟踪、执行验证与闭环失败恢复。该方法通过物理接地场景图把高层语义意图落到可执行原语,并结合安全感知局部规划器生成无碰撞轨迹。在 LIBERO-Pro 上取得最优性能,真实实验中任务成功率分别比领先 VLA 模型和分层基线高 22.5% 和 25.0%。
作者提出动态窗口纯追踪(DWPP),把指令速度计算放到 v-ω 速度空间,在动态窗口内选取最接近 ω=κv 直线的点,从而显式纳入速度与加速度约束。实验显示 DWPP 能避免违反约束的指令,路径跟踪精度优于传统纯追踪方法。该方法已集成到 Nav2 官方仓库并公开,论文已被 Robotics and Autonomous Systems 接收。
这篇综述从自动化系统视角为协作连续体机器人(CCR)构建闭环任务执行架构,说明如何把目标任务规格转化为多连续体机器人的协同执行。作者据此将CCR分为分离协作、辅助协作和并行协作三种模式,并按多机器人任务分配、结构设计、建模、运动规划、控制策略与感知机制梳理研究进展,最后讨论关键技术机会与实机部署的系统集成挑战。
CRAFT-E 是一个模块化神经符号框架,将大语言模型导出的动词-属性-对象知识图谱与 CLIP 视觉对齐、基于能量的抓取推理组合,用于可供性取物。系统给出可解释的 grounding 路径,把抓取可行性纳入可供性推断,并支持不重训的图编辑。
研究提出自动生成机器人规划与执行失败数据的框架,构建了基于RLBench和BridgeDataV2的GuardianFail-36k失败推理数据集,并训练多视角推理视觉语言模型Guardian。Guardian在RoboFail、RoboVQA和新提出的UR5-Fail三个未见真实世界基准上取得最优性能,与基于大语言模型的操作策略结合后,在仿真和真实部署中均提升任务成功率。代码、数据和模型已公开。
作者提出 IndustryNav 仿真环境,包含 24 个仓库场景,用于闭环导航到指定目的地,并引入记录碰撞与近碰撞警告的安全指标。对 11 个主流开源与闭源 VLLM 及 3 个导航基线的实验显示,智能体能到达目标却会撞上移动障碍物,暴露出任务成功与安全导航之间的差距。
论文提出一种带规划级意图预测的移动机器人共享控制框架,用意图域约束路径重规划,并将意图域预测与重规划联合建模为马尔可夫决策过程、通过深度强化学习求解。作者还设计了基于 Voronoi 的人类轨迹生成算法,使模型可完全在仿真中训练,无需人类参与或示教数据;仿真与真实用户实验显示该方法在任务效率不降的前提下降低操作员负担并提升安全性。
一篇 NeurIPS 2026 Position Paper 提出以身体-控制协同设计实现人形机器人的物理递归自我改进(RSI):利用当前身体与策略的经验,递归地同时改进形态与行为。文章讨论了基于策略性探索、Sim2Real 迁移和元策略学习的协同设计方法,并从方法论、应用和社区角度论证其必要性,同时列出从短期创新到长期目标的开放研究问题。
特殊伽利略群 SGal(3) 是 10 维李群,其重要子群包括特殊正交群、特殊欧氏群和扩展位姿群。该工作简述 SGal(3) 及其李代数,说明群结构如何支持空间与时间不确定性的统一表示,并指出该群对若干机器人问题的潜在用途。
该论文提出用虚拟非完整约束(VNHC)解决非抓取式机器人接物问题,直接依据物体被抓取前的状态设计和控制末端执行器运动,无需预测物体轨迹并生成时变机器人轨迹。在平面情形下,该方法可在期望高度接住物体,并使接触瞬间的相对法向速度最小,同一 VNHC 函数只依赖目标接取高度,可覆盖多种初始条件。接触后使用模型预测控制(MPC)使物体与末端执行器停在指定位置,目前已在仿真中验证。
OSWAM 提出一种只需一步扩散即可生成动作的世界动作模型,用于自动驾驶与具身控制。作者用想象 token 初始化扩散过程以提供物理先验和动作条件表示,并引入带未来条件的特权信息蒸馏,使动作质量与需要数十步的直接策略 WAM 和 Joint-WAM 相当或更好。相比直接策略 WAM 基线约有 3 倍加速,在 NVIDIA RTX 5090 GPU 上编译推理延迟低至 40ms。
该论文研究多目标强化学习中的策略学习问题,提出目标冲突系数并据此推导在线场景的近最优遗憾界,用于量化目标错位对学习效率的影响。作者设计了路由集成策略学习算法,维护一小组基策略并将轨迹动态路由到潜在奖励最高的策略;同时提出核代理轨迹归因算法,估计轨迹反馈信号对其他轨迹策略学习的影响。