RoboReel:面向人类视频观察学习的机器人操作技能评测基准
论文提出 RoboReel,一个用于评测从人类视频学习策略(Learning from Observation)模型的统一基准,收录十个操作任务的真实人类演示视频、仿真机器人轨迹与评测环境。
论文提出 RoboReel,一个用于评测从人类视频学习策略(Learning from Observation)模型的统一基准,收录十个操作任务的真实人类演示视频、仿真机器人轨迹与评测环境。
该研究用网络雅可比的有效秩分析足式运动强化学习策略,发现按步态相位条件化后可暴露全局秩看不到的表征结构。观察归一化加残差连接的架构比普通 MLP 多为摆动主导状态分配超过一个有效秩维度。基于此提出的诊断方法在仿真和实体 Spot 上将关节抖动最高降低约 2 倍,论文已被 CoRL 2026 接收。
论文提出 DriveDegrade,一个针对纯相机端到端(E2E)驾驶的图像退化容忍度基准,在图像加载器中在线注入 16 类 corruption、5 个严重度,用一个算子覆盖 15 个策略,并在 nuScenes 和 NAVSIM 上评测开环规划,附 CARLA 闭环锚点。
ADEPT 是一个大规模强化学习框架,先在通用物体重摆任务上预训练灵巧策略,再以该先验后训练下游策略,实现跨高自由度本体、直接从原始视觉触觉感知求解长程任务。为避免朴素微调破坏零样本重摆能力,作者提出结合行为克隆蒸馏、评论家预热与保守在策略更新的稳定后训练方案,并引入关节空间 Geometric Fabric 协调策略与机器人。
Cyclops是一个将稀疏非重复扫描LiDAR(NRS-LiDAR)强度数据合成为RGB视频的框架,用于全天候感知任务且无需相机。其方法先用冻结的预训练稠密化模块把稀疏强度投影转为稠密表征,再通过潜在桥匹配(LBM)学习速度场、在少量ODE积分步内将强度潜变量迁移到RGB分布;同时用时序注意力注入前帧上下文以抑制帧间闪烁,并将速度场建模为由可微终端奖励优化的策略。
MANGO-Grasp 提出一种各向异性交互框架,用几何导向的3D高斯基元表示物体以保留局部表面几何,并把手部编码为同时捕捉形态与运动学的预训练描述子,通过各向异性马氏场建模手物接触。
论文研究视觉-语言-动作(VLA)模型在需要精确物理交互的接触密集操作任务中失败的原因,提出两类失败模式:精度失败(策略难以产生接触时所需的小幅精确修正动作)和力失败(策略无法响应接触力)。
该论文从指令空间覆盖的角度研究序列机器人操作任务中的组合泛化,把泛化差距分解为边际指令偏移、指令组合偏移和上下文-动作偏移三个来源。结果显示穷举指令元组并非必要,覆盖动作相关依赖的结构化子集即可获得较强的分布外性能;稀疏训练失败往往源于指令引导而非缺失底层技能,每个任务仅用一条演示微调即可将分布外成功率从0.4%提升到54.7%。
PRISM(Polynomial Representations for Interaction Structured Motor Control)是一种受物理启发的策略表示方法,通过递归添加缩放的双线性特征学习变量间的乘性交互,只需替换多层感知机(MLP)的第一层仿射层,即可用于强化学习与模仿学习,无需改动训练目标、传感或控制器。
FELT 是一个利用已有视触配对数据从 RGB 观测中学习接触感知表征的框架,通过生成触觉图像和接触感知特征两种接口提供给下游策略。它采用冻结视觉编码器配合左右手指独立查询解码器,两分支经门控连接交换信息,卷积读出生成空间接触表征。在四个接触密集的实机任务上,两种接口的成功率均高于纯视觉策略,直接将接触感知特征融入策略使成功率提升 15-22.5 个百分点。
论文提出OptCar,一种把通用前向运动学动力学(FKD)模型特化为特定车辆专用模型的方法,同时保留跨地形泛化能力。其核心是用FiLM将近期状态-动作历史汇总成单个动力学上下文token来条件化多步预测的Transformer FKD架构,再结合有限实车数据与系统辨识产生的定向合成轨迹进行特化。
EDAR(Environment-Dependent Action Representation)将动作 token 同时锚定在可执行的控制结构与预期视觉后果上,通过把运动指令与其环境条件下的效果耦合,使学到的动作空间捕捉交互语义而非仅命令级模式。
NativeMEM 是一种具备长时程、实时更新记忆的视觉-语言-动作(VLA)策略,其核心是 Native Memory Compression 编码方案,复用 VLA 自身的视觉编码器将每个相机视角的每一帧历史压缩为单个 token,拼接到输入序列后即可让预训练 VLA 关注长期历史,延迟开销极小,无需外部规划器或新初始化的记忆模块。
SPACE 是一种受蚂蚁觅食启发的集群探索方法,在同步共享地图上维护吸引前沿的信息素、排斥探索的信息素和快速机器人密度场,为机器人提供局部场引导。作者在 HouseExpo 的十六个家庭布局和 KTH 的八个校园楼层上评测,使用多达两百五十六个机器人;在拥挤规模下,SPACE 在 HouseExpo 上取得最低的机器人间接触率,在 KTH 上位于经验 Pareto 前沿。
PinNet通过生成点云关键点及其描述子,并用基于平面的几何自注意力模块建模关键点间空间关系,以提升回环检测与点云配准的描述子判别力。该方法在多种不同LiDAR传感器采集的数据集上评估,实验结果显示其具备较强的地点识别性能、精确的相对位姿估计,以及在不同环境中的单次定位成功。
论文提出一种面向人形机器人的异步上半身任务空间轨迹跟踪框架,以应对高层规划器输出稀疏低频轨迹与全身控制器高频运行之间的时序异步问题。学生策略通过教师-学生蒸馏初始化,以完整缓存的未来轨迹和执行时间索引为条件,并用滑动窗口全局奖励训练以减少帧漂移;任务后训练阶段用MPC模块将稀疏参考补全为浮基座与上半身引导。
WireCraft 是面向工业可变形线状物体(DLO)操作的仿真基准,涵盖连接器插入、卡扣走线和线槽压入三类任务,支持铰接与可变形两种物理模型,发布轨迹同时来自仿真和真实 UR5 机械臂。
SidewalkBench 是一个基于 NVIDIA Isaac Sim 构建的城市人行道视觉导航基准,提供 GPU 加速的高保真人行道环境,包含程序化生成与真实扫描场景,并加入事件驱动的行人反应行为。作者在 330 个单元测试场景、800 个行人反应场景和 105 个长时程场景上评测了 9 个视觉导航模型,发现行人交互与长时程鲁棒性仍是现有模型的关键瓶颈,扩大人行道合成数据训练规模是可行方向。
论文提出一个框架,交互搜索能提升闭环 VLA 任务表现的语言序列,将其蒸馏为测试时语言反馈策略(LFP),并训练一个改进头预测语言引导何时有效,再对该改进头做保形校准以防止有害干预。
论文提出 Perceptive Behavior Foundation Model(Perceptive BFM),一种地形感知的人形机器人全身控制框架,用机器人视角的局部地形观测来适配接触、姿态与时机,同时保留原始运动学参考作为行为接口。
CoRL 2026 收录论文提出 STRIPS-WM 框架,仅从图像转移(当前图像、执行的高层动作、结果图像)中学习 grounded 的 STRIPS 风格世界模型。
OrbiSim 提出一种机器人仿真范式,把世界模型重构为完全可微的物理引擎,打通结构化场景资产、神经动力学与下游强化学习。整个仿真回路从显式状态转移到视觉观测生成均支持端到端可微,可支持可微接触建模、稀疏奖励下基于梯度的策略优化以及物理推理等任务。实验显示 OrbiSim 在预测保真度和控制性能上显著优于现有世界模型,且对资产配置和物理参数保持一致响应。
一项研究提出结构化编码器-解码器框架,用非线性历史编码器捕捉空中操作平台与机械臂的时序及交叉耦合残差动力学,线性潜空间解码器支持部署时快速适应。该框架参数线性结构可闭式贝叶斯更新并与实时模型预测控制(MPC)集成,在真实空中操作平台上实验显示残差预测精度提升、动力学变化后快速适应,且载荷变化条件下MPC跟踪误差降低。
HyVGGT-VO 提出一种混合稠密视觉里程计框架,将传统稀疏 VO 的高频位姿输出与前馈模型 VGGT 的稠密重建能力结合,据称是首个把传统 VO 前端与 VGGT 紧耦合的工作。
PanoAir 提出一套全景视觉-惯性 SLAM(VI-SLAM)框架,并构建了覆盖不同光照、高度、轨迹长度和运动动态的真实世界全景数据集。方法通过全景特征提取与全景回环增强特征约束和全局一致性,在自建数据集和公开基准上跑完全部 17 个序列无跟踪失败,相比最优基线将 ATE 最多降低 47.1%,嵌入式平台部署验证了其计算效率与 PC 实现相当。源代码与数据集已公开。
OxyGen 提出统一 KV cache 管理的推理设计,把 KV cache 作为跨任务、跨控制周期的共享资源,通过跨任务 KV 共享消除共享观测的冗余 prefill,并用跨帧连续批处理在每帧解码预算内推进未完成的语言请求。
一项发表于 IEEE RA-L 2026 并在 IROS 2026 展示的研究提出了一种基于高斯过程(GP)与稀疏路径点的机器人技能适应框架,通过利用轨迹位姿的一阶与二阶解析导数来保持技能的运动学特征。该框架包含三种适应方法:优化智能体、行为克隆智能体和强化学习(RL)智能体。在开抽屉、推立方体和操作横杆三项任务的仿真与实机评估中,其成功率均优于所有基准方法,并展现出高余弦相似度与低速度幅值误差。
HydroShear 是一个非完整约束的流体弹性触觉仿真器,被 RSS 2026 接收,用于解决接触密集任务的触觉 sim-to-real 策略迁移问题。它建模了黏滑转换、路径依赖的力与剪切累积以及完整的 SE(3) 物体-传感器交互,并用有符号距离函数(SDF)追踪压头表面点在与传感器膜交互时的位移,可从任意水密几何生成物理基础且计算高效的力场。
TRAIN 提出两阶段深度强化学习框架,通过 TRAIN-Loco 与 TRAIN-Nav 两条流水线,让四足机器人在非结构化地形与有人环境中实现地形感知导航。基准测试对比了四足运动与机器人导航基线,硬件实验验证了其仿真到现实(sim-to-real)迁移潜力。
Schrödinger's Navigator 是一个面向零样本物体导航(ZSON)的信念感知框架,在推理时对多条候选路径生成的轨迹条件化想象 3D 未来进行推理,而非过早收敛到单一地图。
该研究对视觉-语言-动作(VLA)基础模型的置信度校准展开首次系统研究,建立VLA置信度估计基线,考察任务成功率与校准误差的关系以及校准随时间的变化,并提出提示集成(prompt ensembles)和逐动作Platt缩放两种轻量技术来修正观察到的失准问题。论文共34页、7张表、22张图,已发表于TMLR并完成最终版本。
该研究提出一种基于多智能体强化学习的集中训练分散执行方法,用于随机环境中UAV的避障路径规划,改进自模型预测控制(MPC)思想。各智能体仅与集中规划器通信,通过基于距离加权均场方法的扩展观测规划可行路径,并采用多步价值收敛提升训练效率。对比、消融与实机实验验证了方法的有效性与泛化性能。
StopWatch 论文诊断出目标锚定(goal grounding)是当前基于视觉-语言模型(VLM)的目标导航策略的主要失败原因:这些策略探索表现良好,却常未能注意到目标已在视野中或估计其距离。
SparseMax-dSTL 提出一种基于稀疏投影的信号时序逻辑(STL)鲁棒性平滑近似,其值始终低于精确鲁棒性因而具备可靠性,且误差上界与采样数无关、可在优化前确定。
作者提出自建实验室(SBL)系统,可根据高层科学目标设计、配置并运行实验室装置,从空房间或已有自驱动实验室起步,补齐实验室布局、数字孪生、机器人技能与实验流程。系统在多种机器人与装置上演示,可从单工作站扩展到多机器人协同的实验室,并通过真实量子点合成实验验证端到端能力。作者称这让人工研究者的角色从手动配置和编程设备自动化转为指定科学目标。
Structural Affinity 是一种针对笼基变形(CBD)的显式正则化方法,通过双笼结构与均值坐标预计算的亲和矩阵耦合内外控制笼运动,使控制柄位移平滑传播到相邻控制柄,大幅减少甚至消除笼自交与网格畸变,且变形时仅增加线性开销。
论文发布三模态人体检测数据集 TriSAR-3D,用 128 通道激光雷达、RGB 相机和热成像相机在室内外、不同时段采集,覆盖躺卧等多样姿态;同时提出融合方法 PaintFusion。
论文提出EmbodiedMidtrain,通过中训练弥合视觉语言模型(VLM)与视觉-语言-动作模型(VLA)之间的差距。作者先刻画两者数据分布差异,发现VLA数据占据与VLM分布大体分离的紧凑区域,随后构建中训练数据引擎,用轻量可学习的邻近度估计器从大规模VLM池中筛选与VLA最对齐的候选,产出EmbodiedMidtrain-1M数据集用于中训练VLM。
该研究训练只观测关节位置、速度与自身动作短历史的盲装配策略,不使用视觉、力、扭矩或触觉传感,在仿真中用强化学习完成插销、齿轮啮合与螺母拧紧。插销策略零样本迁移到真实世界,73% 试验中成功插入不同形状和尺寸的插销;对照实验显示盲策略对未见零件形状尺寸的泛化更好但可能更慢。
MOSS(Multimodal Origami Swamp Robot System)是一款紧凑型两栖机器人平台,采用3D打印折纸轮,通过曲柄机构在收缩与展开构型间切换,同时改变轮宽、轮径和鳍片朝向。