IROS 2026 实地研究:LiDAR 与相机融合的鸟瞰图提升全尺寸车辆遥操作表现
研究团队用一辆真实车尺寸车辆开展 N=18 的实地实验,比较相机画面、原始 LiDAR 点云鸟瞰图和 LiDAR 与相机融合鸟瞰图三种遥操作界面。
研究团队用一辆真实车尺寸车辆开展 N=18 的实地实验,比较相机画面、原始 LiDAR 点云鸟瞰图和 LiDAR 与相机融合鸟瞰图三种遥操作界面。
研究提出基于3D高斯泼溅(3DGS)的数据生成流程,用于腕部相机VLA策略的精细接近任务适配。该方法重建真实工作空间并从机器人对齐位姿渲染腕部相机观测,与平滑结构化接近轨迹配对用于VLA微调,并加入指令条件化的接近验证器在物理接触前判断终止。
该研究提出面向深度强化学习(DRL)的任务分解框架,将迁移学习(TL)与奖励重设计(RR)结合,以提升障碍环境下的学习效率与鲁棒性。
作者提出便携手持设备 DEX-PHD,集成灵巧机器人手、逐指连续控制和多模态记录,可采集本体感知信息、指尖接触数据与腕部相机视频,操作者通过关节级映射直接控制机器人手。其无缆设计支持在多种环境中采集数据,作者在需要多指协同的接触密集型任务上演示,并将采集的示范通过开环回放在实体人形机器人上执行,结果显示开环回放保留了手指运动的主要时序模式和任务相关接触。
EmbodiedLab 是一个要求机器人“动手求知”的基准:智能体接收目标与实验装置,自行选择实验流程,在物理仿真实验室中通过相机读取仪器,评估其最终获得的知识以及任务要求的物理状态。
作者提出去中心化 LiDAR-雷达-惯性里程计框架 LRIO,融合激光雷达、FMCW 雷达与惯性传感,在 GPS 拒止且受烟雾影响的地下隧道中做位姿估计。框架核心是自适应残差阈值(ART)机制,用于检测传感器随时间退化并调整融合过程,配合容错最优信息滤波器(RETOIF)以故障感知方式融合激光-惯性与多路雷达-惯性里程计。
作者提出 Reward-Guided RRT*,一种基于采样的框架,通过一系列局部联合的任务选择与运动规划阶段,在连续状态空间中直接构建满足预算的任务序列,无需预计算任务转移图。
作者提出 Labference 基准,用于评估机器人如何根据实际物理执行结果调整后续操作,并分别测量操作选择、物理执行和任务完成情况。初步评测显示,受测 VLA 策略在物体转移成功的情况下仍出现目标选择错误,而 GPT 驱动的控制虽能正确选择,却遇到执行失败和较高计算开销。
RetroNav 是一个无需训练的终身导航框架,把导航、记忆积累与失败反思整合在一起,在五个导航基准上取得当前最优表现。它用统一记忆系统把几何与语义场景知识和历史导航经验关联起来,区分客观观察与依赖任务的解读;每次导航后由独立评估器判断是否需要重试,需要时由回溯智能体结合场景证据生成重试简报。作者表示方法将开源。
该研究在含转子陀螺耦合、电机滞后与饱和的非线性被控对象上对比级联PID、悬停LQR、BL-SMC、带LQR回退的线性MPC(LMPC-F)、启用预览的LMPC-F和几何SO(3)控制器,发现统一的十二候选调参协议改变了固定基线下的平均RMSE排序,使BL-SMC从末位升至首位,且该排序在50组新实现上重现、48候选预算下不变。
Zero-HLM 提出 real-to-sim-to-real 框架,将手机拍摄与仿真源演示转化为人形移动操作的可扩展训练数据。研究生成 4800 条经物理验证的演示,在 Unitree G1 的三项任务上实现零样本迁移;仿真训练的 GR00T N1.7 平均全任务成功率为 66.7%,而真实数据训练为 46.7%。
PushAround 提出一种物理信息混合搜索方法,将几何连通性推理与短时仿真结合,为移动机器人团队生成可执行的清障计划。该方法通过重复的 W-clearance 连通图(WCCG)查询找出需要拓宽的前沿缺口,并按估计的下游代价排序,再生成直接或递归推障候选,选择障碍物、方向、接触与力。
VISTA 是一个元智能体框架,把事后回放反思改为主动自我探索,以改进具身智能体的 harness。它维护记录 harness 版本谱系的 harness graph,让元智能体检索历史假设、复用有效机制并避免重复失败方向;每轮从保留版本及其执行证据出发,自主生成新 rollout、探查失败与恢复行为,再据此迭代修改 harness 并重新评估。
该论文在高速驾驶和物体交接两个场景中,用常见生成模型指标评估多类人类行为模型,并与用这些模型训练出的强化学习策略的下游表现对比。结果显示,现有行为评估指标无法稳定预测下游策略性能,且评估结果对轨迹表示方式敏感;即使已知真实测试行为分布,用不同分布训练也可能获得更好的下游表现。
SceneAgent 是一条智能体流水线,通过基于仿真器的视觉检查与修复,把3D Gaussian Splatting、摄影测量、LiDAR 采集、AI 生成的 3DGS 场景和 4D 动态视频转换为可交互仿真环境,流程涵盖物体分割、物理参数估计、部件分解、关节与可变形仿真。
一项离散事件仿真研究对比了两种已实施的通道内机器人拣选配置:无车载周转箱提升机构时用两台层级受限穿梭车服务两个测试层级,有提升机构时一台穿梭车留在水平层、由车载机构将订单周转箱移至相邻上层完成拣选。
作者提出 RobotAgentBench(RAB),一个面向真实开放世界家庭环境的机器人智能体评测基准,通过智能体辅助、人在回路的真实到仿真流程构建 50 种家庭布局,包含 90 个原子任务、18 个短时程任务、8 个长时程任务和 4 个开放式场景。
研究在FastWAM和OpenWAM中做受控的未来视频预测损失消融,在已见任务的干净条件下成功率分别提升24.38和72.91个百分点。轨迹聚类显示部分粗粒度轨迹簇内成功率提高,但簇频率变化不大,说明收益不只来自轨迹模式分布变化。
作者提出 PhysLadder,一个用于评估接触密集操作物理交互能力的分层仿真-实机基准,包含 16 项家务任务,分为接触选择与几何对齐(L1)、持续接触下的力调节(L2)、接触重构与力调节协同(L3)三个累积层级。
ARPG 提出将动作表征学习与动作生成分离:先在大规模人类操作数据上预训练动作表征编码器,再冻结该编码器,并在其表征空间中训练一个 130M 参数的生成主干来学习任务条件动作分布。
AuRA 是一套自动化机器人交互与数据准备系统,用于数字孪生重建,结合执行感知抓取选择、由机器人状态推导的夹爪运动测量以及配准的交互前几何与外观先验。在 13 个可变形物体上,每个成功重建资产的人工投入和实际采集时间分别减少 88.5% 和 55.4%;相比人工采集的 PhysTwin 基线,在已知夹爪运动下的未来预测中,9 项指标有 7 项提升,单向 L1 Chamfer 距离降低 28.1%。
研究团队提出RynnVLA-Latent框架,通过RynnLAM从视觉变化中学习连续、3D接地的潜在动作,无需原生机器人控制信号,将30.1K小时人类、机器人和仿真视频转为745.52M条潜在动作描述用于策略预训练。
推荐理由:该研究用3D接地的潜在动作把异构交互视频转成预训练监督,为VLA模型绕开动作标注稀缺提供了一条可复用的路径。
作者提出 ScheNav 闭环导航框架,把粗略草图引导转化为探索与停止决策,核心是融合引导与累积观测、预测空间价值场的学习模块 SchemaField。配套数据流程把 2D 平面图转成导航训练环境,产出 Furnished-RPLAN 数据集,包含超过 33k 个带家具布局及配对导航回合和噪声可控草图。
HuGe 是一组人形通用视觉-语言-动作模型(VLA),在超过 2000 小时的第一视角人类与机器人数据上预训练,通过预测潜在运动 token 驱动预训练全身控制器并输出手部控制信号。
研究提出 HumanoidNDM,一个由实机训练的神经动力学模型驱动的人形运动跟踪在线微调框架,用于缩小训练与部署之间的动力学差距。方法包括带自适应强度机制的低频参考扰动数据采集、在欧氏空间结合可微前向运动学训练基于本体感知历史的动力学模型,以及通过模型梯度回传直接微调策略。
RoboDuo 提出一种闭环双系统框架,以代码作为编码智能体与两个 VLA 之间的接口:编码智能体编写程序,让全任务 VLA 尝试完成整个任务并检查是否完成,失败时由原子 VLA 补齐剩余步骤。
X-World 提出一种框架,通过固定长度 token 序列把视频先验迁移到共享动作专家,并用残差跨视角注意力把预训练视频骨干扩展到一、二或三视角。该策略在 LIBERO 上达到 98.5% 平均成功率,LIBERO 训练检查点在 LIBERO-Plus 上无需额外适配取得 76.5%;在六项双臂真实任务中,每项 20 次试验的平均成功率为 81.7%。
作者提出一种利用毫米波雷达多普勒信息跟踪非视距遮挡目标的方法,在留出轨迹上实现8.95cm位置误差和1.75cm/s速度误差。研究同时发布首个室内非视距雷达数据集,包含576个序列、共720,856帧,覆盖12条轨迹的不同速度、起始位置与材质配置。方法将非视距跟踪建模为连续位置-速度估计,用共享三维编码器处理完整距离-方位-多普勒表示,并由两个循环分支分别估计位置和速度后融合为运动一致轨迹。
研究提出一种仅用 LiDAR 的实时框架,从无标注演示中学习交互感知的路径修正:用匀速外推生成残差学习目标,由 GNN 建模机器人、行人与目标上下文之间的关系,部署时用扩展卡尔曼滤波跟踪 LiDAR 检测构建动态图,并通过与规划器无关的接口偏移规划器生成的路径点。
针对瓦片比例与表面图案空间相关性随时间变化的动态环境,研究将轻量级变化检测机制集成进贝叶斯群体决策框架,在检测到分布偏移时重置机器人信念。该检测器仅需常数内存与常数级单样本计算,不同于两种需存储完整样本流的近期方法,适合内存受限机器人。Webots仿真显示变化检测延迟具竞争力、不同通信设置下精度更一致,且空间相关性变化时决策准确率提升。
论文提出基于激光雷达的实时时序施工场景图 T-ConSG,用空间关系边和事件参与边同时表示自由空间、静态物体、动态物体与环境事件。该框架从激光雷达几何证据增量构图,把累积空间证据的变化显式表示为安装与移除事件。作者在砌砖测试台的动态感知导航、ConSLAM 数据集的施工进度监测和仿真环境在线变化检测三项研究中验证了该表示。
论文发现,测试时整片区域被遮挡会让点云分割网络把隐藏构件重新标注到同一个汇聚类别,固定布局下该类别吸收最多70%测试点,基线mIoU降至0.15-0.27。作者为每个点追加14个手工几何特征(GPE),在PointNet++和PTv3风格Transformer上把mIoU恢复到0.54-0.92,并消除64-100%的整物体丢失;在真实S3DIS扫描上整面墙丢失从10降到0。
该研究提出一个开源仿真框架,将 WiFi Sensor for Robotics(WSR)感知流程集成进 Gazebo,可生成具有真实物理信号特性的合成 WiFi-CSI 测量,并支持处理仿真与真实 WiFi-CSI 数据以直接对比验证。作者用 TurtleBot3 机器人对比仿真与真实实验,展示了该框架在方位估计和机器人定位上的用途,代码与实验细节已公开。
论文研究多无人机协同探索建筑时遭遇女巫攻击的问题:一台被攻陷的无人机伪造身份、抢占前沿并发送虚假扫描,导致真实无人机漏探区域并在地图中生成不存在的墙体。作者提出五种仅依赖无人机自身传感器与地图的防御手段,包括地图数据审计、身份位置处机体存在性检查、仅信任已观测机体的身份、隔离未被任何无人机观测的身份,以及将观测到的机体与单一身份绑定。
RoboLongR 提出离线到在线的奖励学习框架,通过因果一致性让奖励进度与执行历史支持的前置条件对齐,引导策略从行为克隆过渡到在线强化学习。该方法在 88 个 RLBench 任务和 Open-X 数据上预训练,在未参与奖励预训练的 18 个长程任务上平均成功率为 31.8%,比最强对比基线高 9.2 个百分点;在四个真实机器人任务上成功率为 57.5%,比对比方法高 32.5 个百分点。
AdaDexTrack 提出一种调制器在环框架,用于语言条件下的灵巧操作跟踪,通过参考调制、物体隐变量调制和位置目标调制三类反馈修正,缓解合成参考噪声、人到手重定向的本体偏差和固定参考跟踪的误差累积。
作者提出 RoboWorM,一个面向机器人操作视频世界模型的部署感知评测基准,基于机器人运动学树和固定相机配置等硬件先验考察结构与时空保真度。该基准汇集单臂、双臂和人形形态的 1,605 条片段,覆盖马尔可夫与长程非马尔可夫任务及单视角、多视角设置,并提出 KIVA 与 RIGIS 两个不依赖视觉语言模型的确定性指标。
研究提出 Scan2Instruction 与 PRPT-KS,用一次 iPhone 扫描构建训练环境并自适应语言引导导航策略,无需人工演示。在五个真实环境中,RealNav 实机成功率达 85%,而用人类演示后训练的基线为 49%;在同一建筑未扫描区域仍达 82%,基线为 41%。
RoboReason 提出用真实机器人立体相机与腕部相机图像构造空间与时间排序任务,评估视觉语言模型的机器人相关推理能力,实验显示多个先进 VLM 在排序任务上表现不佳。作者据此提出可扩展的自主训练数据生成流程,监督微调与强化学习在该数据上均显著提升模型在时空排序及下游机器人与视觉推理任务上的表现。该工作被 EMNLP 2026 主会接收。
RoboJev-27B 是开源的视觉语言模型,输入任务指令与 10 帧操作画面即可预测机器人是否完成任务。它在同型号 SO-101 的 268 条留出片段上达到 95.2% 平衡准确率和 0.993 AUROC,在未见实验室或机器人的 459 条片段上 AUROC 为 0.890。单条片段在单张 H100 上推理中位耗时 0.26 秒,模型与推理代码及 20,628 条预测的评测结果一并公开。