ElevateHead:多模态模仿学习中动作头何时需要一次性决策
ElevateHead 提出一种动作头,在学到的决策点一次性选定任务执行方式并在整个回合内保持不变,用户也可将该选择作为输入设定。在留出的 Franka Kitchen 任务上,它完整完成四个子任务的回合比例为 45.2%,BeT 为 29.3%(+0.160,95% CI [+0.129, +0.188]);在留出的积木堆叠任务上,版本 4 与 BeT 相当但未超过。
ElevateHead 提出一种动作头,在学到的决策点一次性选定任务执行方式并在整个回合内保持不变,用户也可将该选择作为输入设定。在留出的 Franka Kitchen 任务上,它完整完成四个子任务的回合比例为 45.2%,BeT 为 29.3%(+0.160,95% CI [+0.129, +0.188]);在留出的积木堆叠任务上,版本 4 与 BeT 相当但未超过。
作者提出一个任务与运动规划(TAMP)框架,把任务导向的交互式信息获取与规划执行交替进行,基于PDDLStream乐观规划交互动作,并在执行中验证结果、保留仍可用的动作、只重规划后续连接。该框架在仿真和真实机器人上测试了判断物体是否可移动、笔是否有墨水、抽屉能否打开、容器是否为空等任务,显示交互驱动的状态更新与恢复重规划能支持不确定结果和外部扰动下的持续执行。
研究在双通信循环控制器的仿真肌肉骨骼系统中,用 2×2 设计比较差异化与共享控制器目标、固定与均衡手-任务分配对双臂控制的影响。差异化目标配合与对侧控制路由一致的固定分配时功能专门化最强,双臂成功率达 81.33%,控制效率也最高。该优势随运动噪声增大而扩大、在更强能量惩罚下收窄;差异化-固定训练下互换双手角色使成功率下降 80.46 个百分点,共享-均衡训练下仅下降 1.51 个百分点。
作者提出 TrajMamba,一种基于 RGB-D 相机、用于移动机器人短期人体轨迹预测的轻量双向状态空间模型,训练与部署共用同一条处理路径,以对齐人体姿态提取、深度反投影和平滑过程。
论文研究多无人机协同探索建筑时遭遇女巫攻击的问题:一台被攻陷的无人机伪造身份、抢占前沿并发送虚假扫描,导致真实无人机漏探区域并在地图中生成不存在的墙体。作者提出五种仅依赖无人机自身传感器与地图的防御手段,包括地图数据审计、身份位置处机体存在性检查、仅信任已观测机体的身份、隔离未被任何无人机观测的身份,以及将观测到的机体与单一身份绑定。
RoboLongR 提出离线到在线的奖励学习框架,通过因果一致性让奖励进度与执行历史支持的前置条件对齐,引导策略从行为克隆过渡到在线强化学习。该方法在 88 个 RLBench 任务和 Open-X 数据上预训练,在未参与奖励预训练的 18 个长程任务上平均成功率为 31.8%,比最强对比基线高 9.2 个百分点;在四个真实机器人任务上成功率为 57.5%,比对比方法高 32.5 个百分点。
AdaDexTrack 提出一种调制器在环框架,用于语言条件下的灵巧操作跟踪,通过参考调制、物体隐变量调制和位置目标调制三类反馈修正,缓解合成参考噪声、人到手重定向的本体偏差和固定参考跟踪的误差累积。
作者提出 RoboWorM,一个面向机器人操作视频世界模型的部署感知评测基准,基于机器人运动学树和固定相机配置等硬件先验考察结构与时空保真度。该基准汇集单臂、双臂和人形形态的 1,605 条片段,覆盖马尔可夫与长程非马尔可夫任务及单视角、多视角设置,并提出 KIVA 与 RIGIS 两个不依赖视觉语言模型的确定性指标。
研究提出 Scan2Instruction 与 PRPT-KS,用一次 iPhone 扫描构建训练环境并自适应语言引导导航策略,无需人工演示。在五个真实环境中,RealNav 实机成功率达 85%,而用人类演示后训练的基线为 49%;在同一建筑未扫描区域仍达 82%,基线为 41%。
RoboReason 提出用真实机器人立体相机与腕部相机图像构造空间与时间排序任务,评估视觉语言模型的机器人相关推理能力,实验显示多个先进 VLM 在排序任务上表现不佳。作者据此提出可扩展的自主训练数据生成流程,监督微调与强化学习在该数据上均显著提升模型在时空排序及下游机器人与视觉推理任务上的表现。该工作被 EMNLP 2026 主会接收。
作者提出 POD-RoPE,把 token 的观测足迹表示为相机中心、视角与采样时间上的分布,用期望旋转编码分布间相对关系,并在分布退化为单点时还原为逐点 RoPE。
研究用滑移转向机器人在五种摩擦特性不同的地面上按设定速度曲线行驶,通过惯性估计速度与轮式里程计速度的偏差来识别地面类型。响应延迟测量呈现一致的表面依赖趋势,肥皂表面延迟最长、地毯最短;频谱特征在记录级交叉验证下取得97.1%的平衡分类准确率。作者认为速度失配的幅值与频域特征都包含轮胎-地面交互信息,可用于地面识别和状态估计中的滑移感知轮式里程计加权。
该论文提出一种结构保持的量子表示方法,将刚体变换与串联机械臂运动学映射为参数化量子电路,用单量子比特态编码空间方向,并从泡利期望值重建末端执行器位姿。基于参数偏移规则可从量子可观测量导数重建机械臂几何雅可比,在理想读出下与经典结果解析等价。作者据此提出混合闭环方法 Quantum Closed Loop Inverse Kinematics,利用量子导出的位姿与雅可比信息求解逆运动学。
作者提出 Open-World Law-to-Action(L2A)框架,由视觉语言模型为每个可动部件提出运动方式、运动规律项和可能的锁定因素,再通过带闭式证据的贝叶斯线性回归在线辨识部件规律,触觉可推翻先验。
EXE 是一个第一视角跨本体预训练框架,从人类操作视频中学习因子化潜在动作表示,将共享操作先验与本体特有信号分离。作者称该共享动作空间让机器人策略从多样人类演示中获得可泛化的操作语义,同一预训练可同时用于平行夹爪和灵巧手。在 RoboTwin 2.0、RoboCasa GR1 和真实操作任务上,EXE 相比无预训练基线取得一致提升。
论文提出基于能量的故障诊断框架 SHAPE,结合端口哈密顿变量与微分平坦性,从规划运动生成标称功率参考,无需专用动态观测器即可构造机械端口功率残差。在模型预测控制下的六自由度 Kinova 机械臂仿真中,SHAPE-CWT 在 3000 次留出测试上平均准确率为 84.69%,扭矩残差为 81.67%,广义动量观测器为 97.17%。作者指出严重程度激励剖面与离线速度扰动会限制该方法的诊断能力。
HARP 是一个交接感知恢复规划器,用于多无人机空中跟踪交接时让接收机主动获取目标视图,同时不打断发送机正在进行的覆盖。
作者提出 HA-DiPO,一个在集中训练分散执行(CTDE)下运行的分层多智能体强化学习框架,用于异构腿足机器人协同搬运未固定的共享载荷。高层用集中式评论家联合训练各机器人独立的协调策略,并以扩散策略表示多模态协调响应;低层由各本体专属的运动策略跟踪协调指令,策略从零通过奖励驱动的仿真交互学习,执行时仅用本地观测、无需机器人间通信。
作者提出一种面向内存受限机器人的稠密地图关键帧管理方法,直接限制常驻地图占用的内存,并按建筑房间与走廊等语义空间单元准入和释放关键帧。在两块NVIDIA Jetson板上的每次运行中内存预算均未被突破,模型吞吐损失最多0.8%,而不用该方法时操作系统会终止模型或地图。在该预算下,按语义区域准入比按匹配区域数量的几何划分多定位6-9个百分点的查询帧,约为RTAB-Map检索的两倍,且ATE更低。
作者提出 WorldFailBench,用失败原因、失败阶段和失败边界三项任务检验世界模型是否忠实模拟策略失败。基准覆盖 LIBERO 和 RoboTwin 仿真环境中的操作任务,以及 G1 人形机器人的真实操作任务,对七个世界模型的实验显示它们在理解策略失败上存在明显差距。
MOON 是一个给冻结的视觉语言导航(VLN)策略加装两个轻量模块的框架,新增参数不到原策略的 1%,在 R2R-CE 和 RxR-CE 上把冻结基座的导航成功率分别提升 5.2 和 6.0 个百分点。
MimicAll 是一个强化学习框架,用结构化本体描述符编码全局与关节对齐条件,实现异构人形机器人共享全身运动跟踪策略。训练覆盖16个人形机器人家族的4096个变体,并构建了跨五个分布层、464个机体的基准。在相同训练转移量下,随机化 G1 机体在 100STYLE 上的30秒成功率共享训练为99.4%,单机体专用策略为42.9%。
ReSight 是面向具身智能体的任务驱动自改进记忆系统,保留关键帧及其时空关联,并把观测证据与可扩展派生字段分离,以便按新需求重新处理历史观测。系统通过 Explore-Distill-Mount(EDM)从执行与探索记录中识别能力缺口,将探索得到的方案转化为可复用的记忆构建器、查询工具和技能。
一篇综述梳理了113种基于学习的灵巧操作方法,覆盖所用灵巧手、训练仿真器与结果报告方式。作者指出,近半数工作采用同一套配方:在GPU仿真器中对特权状态做强化学习,再蒸馏为仅用视觉的学生模型迁移到硬件,且几乎都集中在同一个仿真器上。
作者提出多约束灵巧策略优化方法 MDPO,将灵巧操作建模为同时包含累积代价约束与逐状态代价约束的多约束策略优化问题,并把多约束投影集成到策略优化过程中。在 ReDMan 上的安全关节控制、手指安全与抓取任务实验中,MDPO 相比基线取得更好的约束满足,同时保持有竞争力的任务表现,代码已公开。
英国伦敦大学学院Xiaoyu Han与香港中文大学Dongkun Han提出SCET-CBF,一种用于一步动态导航的速度校准软引导律,通过短横向逃逸机动给出允许接近速度,并让二次规划在加速度与转向选择中权衡制动的两种效应。
MOTIO 是一个智能体技能工程系统,可将普通人类动作视频、真实感 3D 资产、动作参考和可复用机器人技能转化为可执行的人形移动操作程序,无需任务专用遥操作或机器人演示采集。
TinyFlow 是一个 1.26M 参数的无 warp 光流网络,用固定窗口、恒定偏移的相关替代依赖当前光流的特征重采样,使整个网络可编译为单一静态 INT8 图。
该论文提出一种主动可达性学习框架,用于学习给定回退策略的随机有限时域可恢复包络,从而在不可恢复跌倒发生前触发回退。方法把数据探索重构为可达-避让问题,由不确定性引导的探索器发现未见状态并避开确定不可恢复区域,同时结合时序差分与蒙特卡洛目标提升分布内价值预测和不确定性估计。作者在随机基准和29自由度Unitree G1人形机器人上评估,称监测覆盖率和准确率明显提升,并零样本迁移到真实硬件。
作者提出 Tiny Recursive Policy(TRP),一种参数高效的行为克隆策略,在每个控制步用共享计算模块反复更新高层与低层隐状态后再解码动作序列,并把状态传递到后续预测。
作者提出神经形态决策动力学(NDD),一种分散式、事件驱动的控制器,用于拥挤环境中的安全导航,并给出安全性、活性、鲁棒性与可扩展性保证。NDD 无需通信、预设优先级或邻居目标模型,通过将内部决策与注意力状态耦合到物理状态和局部观测的相对运动,使智能体自组织成局部冲突小组并形成通行顺序。
作者提出 ORBIT(Orbital Reconfigurable Base-actuated Integrated Theta-motion Hand)模块化多指机械手平台,核心是旋转指节机构,手指通过带传动绕圆柱形手掌移动,无需拆解即可在 1 秒内完成手指布局重构。
这篇综述梳理自 aware、自演化机器人的近期进展,目标是让机器人能向人类给出解释,说明自身动作、计划失败或感知异常的原因。作者指出仅靠深度学习无法弥合这一缺口,因为黑箱模型的行为原因不可访问,需要基于更深层推理的底层架构。当解释来自认知过程并与人类共享、验证后,机器人应能将其纳入知识库以改进后续行为。
研究提出一种模块化感知-预测-规划管线,将不确定性作为结构化、可解释的量跨模块传递,并在凸安全集内保证每个周期都有可行解。在四向无信号交叉口的蒙特卡洛试验中,该管线实现0%碰撞和0%求解不可行,每周期耗时12.7ms;确定性规划器和机会约束基线碰撞率分别为36%和10%。消融实验确认了各不确定性来源的必要性,并在Clearpath Jackal UGV上的硬件部署验证了实时可行性。
作者提出B-Adapt与BVSLAM两种方法,应对快速光照变化下自动曝光未及时调整导致图像饱和、视觉SLAM丢失对应关系的问题。B-Adapt采集自适应曝光包围以覆盖场景动态范围并保持光度重叠,BVSLAM直接把多曝光序列作为因子图状态估计的约束,不依赖HDR合成。
韩国团队提出 RAIWAY 轮足双足机器人及接触信息控制方法,机器人配 20 英寸轮,可在不规则、不连续地形上滚动移动。该方法在仿真中把多接触事件蒸馏为隐表示,部署时仅凭本体感知在线推断,无需接触传感器。实机测试覆盖陡坡、砾石、凸点与岩石地形,并在户外楼梯上连续上行,台阶高度最高 15 cm,性能优于无接触信息机制的基线。
LANav 面向开放词汇目标导航(OVON)任务,让机器人仅凭当前第一视角图像在陌生室内环境中寻找目标。其思路是让机器人不再反复回看历史帧,而是对记忆进行整理,以支撑导航决策。
RLT 提出冻结 VLA 大模型、只训练轻量 actor-critic 控制头的方案,由 VLA 负责视觉、语言理解与粗略动作,小网络在关键阶段在线修正动作,以补上最后几毫米的精度。两者之间通过一个桥接结构连接。
研究提出质量可控策略 QCP,可在推理时控制执行速度、运动平滑度等单项质量属性及其组合。为把可控质量范围扩展到初始示教之外,作者设计了迭代事后重标注循环:按目标质量标签收集在线 rollout,将成功轨迹加入数据集,再按实测质量对累积轨迹做事后重标注并微调策略。
基于微观断层扫描重建的数字果蝇在MuJoCo中实现六足行走,三足步态由相位振荡器锁相推导自组织形成,并加入反射纠正规则与粘附实测。其复眼视觉每眼输出721个小眼,全部结论来自固定种子的完整仿真。