PRIME:从不精确示范中学习精确进度估计
论文提出进度估计器 PRIME,用于机器人操作强化学习中生成稠密奖励信号,从不精确的示范数据中学习精确的任务进度估计。PRIME 在观测状态上构建加权图,按空间邻近性和视觉一致性跨轨迹连接状态,边权重编码空间距离作为转移代价,用最短路搜索近似到达成功的测地距离,其变化可区分前进、停滞与倒退,无需假设进度随时间单调。
论文提出进度估计器 PRIME,用于机器人操作强化学习中生成稠密奖励信号,从不精确的示范数据中学习精确的任务进度估计。PRIME 在观测状态上构建加权图,按空间邻近性和视觉一致性跨轨迹连接状态,边权重编码空间距离作为转移代价,用最短路搜索近似到达成功的测地距离,其变化可区分前进、停滞与倒退,无需假设进度随时间单调。
arXiv 论文 Learning Robot Metareasoning 提出将最优计算预算的确定建模为半马尔可夫决策过程(SMDP),一次决策同时决定机器人动作承诺时长与求解器分配时间。作者训练了一个以当前状态、执行中规划和低成本规划器统计为条件的强化学习策略,在地面机器人导航、敏捷四旋翼飞行和接触丰富操作三类任务上,该策略随场景需求调整预算,表现优于固定预算基线。
TransNav提出一种基于Transformer的四旋翼无人机端到端导航方法,可在静态与动态混合障碍环境中实现避障。该方法采用基于patch的点云编码方案,将感知与导航整合在单一架构中,直接预测有限时域动作序列并执行首个动作;同时引入轻量级质点动力学模型,通过数值梯度传播优化轨迹级代价,实现无需专家演示的无监督训练。
论文将 FOUND-IT 集成到移动操作机器人平台,验证基于基础模型的 3D 场景图可支持物体变化检测、多轮建图会话、可导航路径判定以及场景重排任务中的物体抓取。作者基于严格的实机实验,给出单目、基础模型驱动的 3D 场景图构建系统在有效性与局限性方面的分析。代码已在 GitHub 的 MIT-SPARK/FOUND-IT 仓库开放。
论文提出 Hindsight Inverse JEPA Planning(HIJP),用目标条件逆模型直接从当前与目标观测预测动作,替代潜在世界模型中代价高昂的测试时动作序列优化。
F-LIVO 提出一种基于滤波的激光雷达-惯性-视觉里程计(LIVO)框架,通过视觉点与激光雷达平面之间的特征级点到面约束耦合视觉-惯性与激光雷达-惯性子系统。
TRACO框架通过闭环优化增强针对视觉-语言-动作(VLA)模型的定向视觉攻击,其Execution-Driven Supervision根据攻击下实际到达的状态重建监督信号,Progress-Guided Selection则在任务进展停滞处集中更新并保持对先前行为的监督。在多个VLA模型与仿真环境中的实验显示,TRACO提升了任务重定向成功率,凸显了闭环攻击优化的安全影响。
该研究提出一种具身感知规划方法,用两个配备不同简易夹爪(吸盘与平行夹爪)的 Franka FR3 手臂协同完成单个夹爪无法可靠执行的操作任务。给定一段人类演示指定的物体期望运动,规划器在有限时域内优化手臂轨迹分配,逐段判断需要单臂操作还是双臂协调交接,并综合考虑异构抓取可行性、运动约束、可操作度与跨夹爪兼容性,同时计算全局一致的分配并加入显式切换正则化。
该论文提出一种理由引导的偏好强化学习(PbRL)框架,从轨迹级反馈中学习人类奖励模型,在偏好标签之外引入解释行为为何被偏好的理由标签。相比仅用偏好的奖励学习,该方法为学习人类对齐奖励提供额外监督,并提升策略的可解释性。学习到的人类奖励与环境奖励结合用于策略优化,使智能体在提升任务性能的同时产生更可解释、更符合人类偏好且对齐人类意图的行为。
论文提出一种基于强化学习的四足移动操作全身控制框架,用于复杂地形下的四足 loco-manipulation。该框架结合混合任务表示与任务优先级全身学习,协调移动与操作并保持任务一致的末端执行器行为;作者还研制了轻量级四足移动操作平台进行验证,实机实验在最大30度斜坡、台阶和可变形地形等复杂地形上成功部署。
FLoTS-SLAM 提出从光流与相机运动诱导光流的残差中推导运动不确定性,用于动态场景下的单目RGB SLAM。系统先用高置信像素估计相机位姿,再重投影动态像素联合优化位姿与深度,减少物体运动对位姿和深度更新的影响。在 DAVIS 上动态掩码平均 IoU 较先进基线提升 35%,在 Bonn 和 TUM 上相对所用 SLAM 骨干的平均 ATE 分别降低 59% 和 19%,源代码将公开。
HexaShell 是一个让编码智能体通过命令行控制双臂机器人的轻量框架,在 RoboDojo 全部 42 项任务上取得 39.7% 成功率和 48.0 进度分,为 RoboDojo 新的最优成绩。
研究团队在Shadow Dexterous Hand Lite上仅用本体感觉和二值触觉反馈完成Baoding球旋转,实现零样本仿真到现实迁移。实机单次连续试验完成225次180°旋转(112.5整圈),速度约0.36转/秒,全程无视觉与物体状态信息。作者还对比触觉与纯本体感觉的作用,指出触觉信息最关键的手部区域。
AWAM(Active World-Action Model)提出一种虚拟主动感知范式,主动规划观察位置并在执行前沿规划轨迹想象将看到的内容,把预测的任务相关虚拟相机运动作为对几何条件世界模型的结构化查询,得到可复用的空间先验,压缩为固定记忆后与实时观测通过交叉注意力融合,用于扩散式动作预测。
论文提出 ActiveAlign 数据适配框架,解决主动相机运动产生的初始观察状态与操作策略训练分布不匹配的问题(first-frame distribution sensitivity):在 LIBERO 上把相机重定位直接接到 pi_0.5 前面会使成功率从 46.3% 降到 11.5%。
论文提出面向视觉-语言-动作(VLA)系统的干预式记忆评测协议(IMEP),用于判断记忆是否真正影响机器人决策,涵盖记忆净收益、起效条件、对任务结果的改变以及效应是否针对任务相关事实四个问题。
作者提出 LAW 闭环 VLM-WAM 框架,通过语义子任务进度把语言推理、动作生成和世界建模统一起来,在 50 项 RoboTwin 任务上平均成功率达 94.21%。
arXiv 发布一篇综述,系统梳理长时程机器人视觉-语言-动作(VLA)模型的记忆机制,按记忆范围与持久性将其分为五类代表性范式和一个新兴前沿。综述从记忆特性、架构复杂度和开源成熟度三方面对比代表性VLA记忆系统,发现架构复杂度提升通常伴随开源成熟度下降的取舍,并讨论了高效记忆管理与终身知识演化等构建全生命周期记忆系统的关键挑战。
SkyAgent 提出 Revisable Target Memory(RTM),针对持续空中搜索中证据矛盾后旧候选仍触发接近或验证动作的问题(作者称为 false candidate persistence,FCP),将证据与持久候选关联、抑制相关视角重复计数,并让候选在 Tentative、Confirmed、Rejected 三态间修正。
CoEvolve 是一个把团队协同表示为固定机器人运动技能之上可执行代码的框架,通过验证器引导的协同演化让多模态基础模型实例化协同策略,物理验证评估每次执行转移,被拒绝的行为触发从已接受检查点出发的结构化修订。
LY-GWM-RoboCasa-Human300 结合 Human300 微调的 GR00T-N1.5 动作生成器、动作条件图动力学模型与二元状态奖励评分器,推理时采样 4 个动作块并执行预测状态奖励最高的候选。
NeurIPS 2026 接收的论文 NestedVLA 提出用嵌套超网络按目标任务生成任务自适应的动作专家参数,与冻结的基础 VLA 组合,以参数生成替代参数聚合,缓解多任务训练干扰。
SimpleVLN 是一个保持原生架构的视觉语言导航(VLN)框架,在 R2R-CE 和 RxR-CE 划分上分别取得 76.7% 和 80.1% 的成功率,显著优于现有方法。
ORD-WM 提出一种学习物体中心刚体动力学的3D世界模型,用于机器人操作任务。它用有符号距离场监督的向量神经元变分自编码器,将每个物体点云编码为由3D向量特征构成的几何感知潜表示,并用动作条件动力学模型预测逐物体的SE(3)运动增量,再将预测的刚体变换解析地施加到当前潜状态上,而非生成无约束的下一潜状态,从而分离持久几何与位姿变化。
SCOPE(Selective Certification Of Program Edits)将失败与成功执行作为互补证据指导程序修订:前沿引导的程序搜索在共享诊断图上标注执行证据以区分已验证进展与未解决检查,选择性行为认证则用有状态 API 回放恢复已记录的响应与变更,检查编辑是否保留了选定的历史成功行为。
论文提出BeJEPA,一种通过无监督强化学习从人体运动先验和机器人交互中学习的目标条件人形机器人行为世界模型,用联合嵌入预测架构(JEPA)学习身体构型与世界放置的共享表示。
GRASP 提出一种面向双臂机器人操作的训练阶段先验注入框架,通过物理锚定的流匹配损失经可微前向运动学(FK)监督工具中心点(TCP)位姿与臂间相对位姿,并引入经 DINOv3 蒸馏的全局查询组与 Grounding DINO 监督的局部交互查询,推理时移除教师模型。仿真与实机长时程双臂任务实验显示两种先验在不同部署条件下互补:完整模型在分布内部部署中表现更优,蒸馏查询分支在强视觉随机化下更适用。
InstAgent 提出一种递归自改进(RSI)智能体操作系统,用智能体行为树(BT)显式建模异构机器人的能力分配、机器人间依赖与交接检查,并通过执行反馈更新协作程序、保留成功修订供后续任务复用。在 20 项真实多机器人任务、3 种高层模型上的实验显示,任务成功率、首次完成率与执行效率均有一致提升。
论文提出一种基于Rao-Blackwellized粒子滤波(RBPF)局部梯度估计的梯度下降仿生磁导航(BIMN)方法,用于GPS拒止环境下的导航。该方法不依赖复杂、笨重且成本高昂的磁地图,梯度下降会自然将系统吸引向目的地,实现无需磁地图的磁导航,是一种简单且节省内存的方案。
一篇 arXiv 批判性综述系统梳理了基础模型在自主空间机器人中的架构、物理适配与验证路径,重点覆盖轨道操作与近距离交会任务。文章指出事件相机可在强光照对比下提供及时运动观测,脉冲神经网络为稀疏本地计算提供可能路径,并将验证组织为"仿真-地面-太空"迭代闭环,以卫星捕获案例串联观测、接近、接触与恢复。全文 23 页 7 图,附带源清单与证据文档。
论文提出一种基于随机核的、与架构无关的概率形式化框架,用于统一描述具身基础模型。该框架包含两部分:用条件输出分布与动作实现核刻画模型并诱导任务条件化的机器人策略,以及把预训练、后训练与策略部署连接起来。作者在 OpenVLA 和 DreamZero 上进行了实例化,覆盖自回归动作 token 预测与视频-动作联合生成两种范式。
PASS 是面向固定翼飞机 CAT III 完整性算法开发的可信精密进近仿真系统,在统一时空几何框架内集成可配置机场环境、规定轨迹、惯性仿真、标定双目图像与连续跑道相对真值,支持可控传感器误差与环境变化下的导航与完整性研究。
VLA-Fabric为每条机械臂配置一个完整的视觉-语言-动作(VLA)模型,保留各自的局部感知与动作所有权,通过跨策略边界的显式学习交互实现协调。论文系统研究了交互应发生的位置、同伴信息如何聚合以及交互如何学习,发现共享上下文、同伴特定隐变量与动作阶段交互具有互补的协调作用,并在结构不同的VLA架构上复现了该原理。
论文提出从求解算法视角定义符号有用性,即好的符号应暴露能简化原规划问题求解的离散决策。作者先针对有限时域分段仿射系统引入求解器充分符号化概念并设计反例引导的符号发明算法,再将其扩展到以一般神经网络为能量函数的优化目标。仿真与实机任务实验显示所得符号在保持解质量的同时降低求解成本,并提升可解释性与可操控性。
该论文提出 MAP(Masked Action Space)接口,把关键点、流、朝向和关键姿态等时空参考统一为同一时间笛卡尔动作空间的部分约束,并将可控操作建模为动作修复问题。
研究提出GR-VIP,一种目标条件化的视觉运动策略,利用为相对相机位姿估计预训练的视觉编码器,在位姿回归前的稠密关系特征上条件化动作预测,保留细粒度跨视图信息以从演示中学习修正动作。在真实对接任务中,GR-VIP在训练环境与未见环境均实现高对接成功率和毫米级终端精度,且迁移无需额外训练。补充实验显示该策略能与非对接目标对齐,并在测试的低光照条件下完成对接。
arXiv 论文提出 Hardware-as-Regularization 方法,通过低成本被动关节模块(可调机械离合器加 3D 打印螺旋弹簧)将每个关节拉向用户定义的中立姿态,以被动回正力充当关节空间 L2 正则化的物理先验。
MambaAct 提出用紧凑的 Mamba 动作专家替换 π0.5 中基于 Transformer 的动作专家,保留其预训练的视觉-语言前缀编码器。
Ego2Contact 从人类交互中学习视觉-触觉先验并迁移到机器人手,其预测器融合时序场景上下文与手部局部视觉特征,从 RGB 视频推断双手触觉场,并通过解剖区域对应关系将不同机器人触觉布局对齐到预测器的规范网格。
SenseSwarm 在集群共享占据地图上运行一个 709K 参数的轻量地图预测器,并把预测结构折返到基于 stigmergy 的引导场中,用集群自身多前沿观测微调,单机器人预测器在该视角下会失效。