跳到正文
10月21日周三
  1. arXiv cs.RO60

    ZeroDex:基于多视角3D接地VLM推理的零样本长程灵巧操作

    ZeroDex是一个零样本长程灵巧操作框架,将语言指令从标定的多视角RGB图像接地为可执行的3D任务计划。它利用VLM已有的2D接地能力,通过多视角融合提升到操作所需的度量3D量(接触点、放置目标、工具运动锚点),执行由3D接地驱动而非学习策略,无需为特定任务或本体收集演示或后训练。

  2. arXiv cs.RO78

    研究用激活注入机制解析视觉-语言-动作模型

    研究者提出一套可解释性流程,用于分析微调后的视觉-语言-动作(VLA)策略内部在计算什么。在 pi0.5 上,把任务 A 的激活注入动作专家、同时让策略观看任务 B 场景,99.6% 的回合(n=1968)会执行任务 A 的运动轨迹,说明注入的程序绑定在绝对工作空间坐标上并忽略可见场景。

    推荐理由:研究用激活注入拆解 VLA 策略的内部计算,为理解其扰动脆弱性提供了机制层面的解释。

  3. arXiv cs.RO45

    腿式机器人关节力矩控制中的动作与风格先验学习方法

    一项针对腿式机器人深度强化学习的研究提出,用少量专家示范数据中学习到的隐动作作为归纳偏置,帮助关节级力矩控制策略更高效地探索。该先验使智能体不受示范奖励水平限制,显著提升迁移任务表现;结合风格奖励进行模仿后,可更贴近专家行为。相关视频已公开。

  4. arXiv cs.RO55

    Joints, Camera, Action! 面向任意骨架的3D动作与视频协同生成模型

    论文提出一个模型,可为任意给定骨架同时协同生成视频与3D动作,并生成将该动作配准到场景的相机。该模型将3D动作保留在独立模块中以支持任意骨架,通过少量交叉注意力层与预训练视频模型连接,并利用生成式视频编辑器整理出近200K训练对。评测显示其从文本驱动多样骨架动画比视频优先的流程更忠实,动作会响应周围场景,还支持视频转骨架动作、骨架动作转视频以及基于关键帧的3D动作控制。

  5. arXiv cs.RO46

    Planning Under Noise (PUN):噪声下的神经算子规划方法

    PUN(Planning Under Noise)是一种神经算子,通过学习噪声感知值场,在未见过的几何环境中实现含控制执行噪声的运动规划。它将障碍物边界条件改为反射型 Neumann 条件、目标处设 Dirichlet 条件,并扩展 Monte Carlo 求解器 Walk on Stars (WoSt) 到高维,从含噪、部分收敛的标签中学习几何到值场的映射。

  6. arXiv cs.RO38

    无信号交叉口车队分布式控制:安全平滑通行的稳定性分析(Part I)

    一项研究提出分布式车队控制器,通过闭环路径建模分析无信号交叉口多车通行的渐近行为,证明在控制器增益的温和条件下,暂态阶段可保证安全通行、稳态下所有车辆以共同恒定速度平滑通过且避免碰撞。该方法区别于传统开路径的双层解耦设计,将交叉口控制与车队收敛耦合分析。有效性已在高保真 CARLA 仿真器中使用多个商用车型模型验证。

  7. arXiv cs.RO45

    给模型一根手指:视觉-语言模型计数能力的发展对齐评测

    一项针对9个视觉-语言模型、682张图像和7种评测条件的研究发现,模型的精确计数范围差异近两个数量级(R80从3到150个点)。研究通过免训练智能体循环让模型用图像标记辅助计数,发现该方法作为干预大多失败,但能生成可审计的串行推理痕迹,帮助揭示模型如何得出答案。实验还显示模型在遍历顺序反转时常改变答案,而儿童式的规则排列优势仅在特定条件下出现。

  8. arXiv cs.RO55

    SynCalib:通过外参可控合成破解LiDAR-相机标定的数据集捷径问题

    论文提出SynCalib数据生成框架,针对基于深度学习的LiDAR-相机在线标定中训练数据外参多样性不足导致的过拟合与泛化差问题,利用带深度真值标注的全景图像数据集,在严格外参约束下合成多模态标定数据。实验表明该流程显著提升学习式标定网络的泛化性与鲁棒性,并在多种相机-LiDAR配置上完成真实世界评测,验证了仅用合成数据训练模型的零样本迁移能力;数据生成代码、预训练模型和在线基准数据集将公开。

  9. arXiv cs.RO44

    OmniVLoc:面向全向相机的拓扑-度量视觉定位系统

    OmniVLoc 提出一种基于拓扑-度量框架的全向相机环视视觉定位系统,通过融合全局场景识别与单目深度估计实现多约束定位,并求解尺度感知位姿图与球面光束法平差恢复度量级位姿。系统内置分层校验机制过滤各阶段错误输出以提升鲁棒性,在公开数据集与自建数据集上的实验验证了其精度与可靠性,源码与数据集将在论文发表后公开。

  10. arXiv cs.RO41

    Preference-PCA Pluralistic Learning(P3L):基于匿名众包反馈的可引导多元策略对齐

    P3L(Preference-PCA Pluralistic Learning)框架通过PCA分解从匿名异构众包反馈中联合学习轨迹嵌入与偏好方向共享基,无需标注者身份即可实现个性化奖励学习与下游策略优化。在多个具身控制任务的实验中,P3L支持可引导的个人对齐,能泛化到离线数据集之外的分布外新用户,取得有竞争力的强化学习与测试性能,同时显著降低计算成本并支持可变的适配查询预算。

  11. arXiv cs.RO57

    AdaDex:用混合灵巧模仿从单条轨迹学习可泛化的灵巧技能

    AdaDex 是一个目标条件强化学习框架,把几秒的人手-物体轨迹(来自动捕数据或野外 RGB(D) 视频的 HOI 重建)转化为可泛化的灵巧技能。其核心 Hybrid Dexterous Mimicking 在两组大规模并行环境中训练共享策略:带稠密动作跟踪目标的环境注入人体先验,带噪声初始状态与目标、稀疏物体成功奖励的环境迫使技能偏离参考轨迹也能工作。

  12. arXiv cs.RO62

    REACT:VLM 引导接触重定向与生成式伙伴建模实现人形机器人-人交互

    REACT 是一个从人-人演示学习可部署人形机器人-人交互策略的框架,以语义接触结构作为监督信号串联演示处理、交互学习与机载控制。它用 VLM 引导的接触建模与重定向管线识别语义接触并迁移到人形-人几何上,再将特权交互策略蒸馏为完全依赖机载传感的自我中心深度策略,并引入生成式伙伴状态建模目标从遮挡视角预测伙伴运动。

  13. arXiv cs.RO78

    SuperMimic:用一个可微世界模型扩展人形机器人全身控制

    SuperMimic 用一个共享动力学的可微世界模型,在单一训练循环中同时训练世界模型与跟踪策略,通过短想象轨迹上的 backpropagation-through-time 为策略提供解析梯度。

    推荐理由:论文给出了用单一可微世界模型替代大规模强化学习训练的具体路径和算力对比数据,可评估其对人形全身控制规模化的影响。

  14. arXiv cs.RO62

    MARE:带阴影真值的开源月球车仿真器

    作者提出 MARE,一个基于 Unreal Engine 5 和 ROS 2 的开源月球车感知与自主仿真套件,包含地形生成、双物理月球车传感器仿真和 GNC 任务控制三部分。仿真器提供立体、激光雷达、事件和 SPAD 相机数据及像素级真值,低太阳高度角下预测阴影与渲染阴影的平均 IoU 为 0.79。立体深度分析显示阴影区域像素覆盖低于日照区域。

  15. arXiv cs.RO67

    Idealworks 与 NVIDIA 评测 COMPASS 导航的仿真到现实迁移

    Idealworks 与 NVIDIA 在工业移动机器人上系统评测 X-Mobility 与 COMPASS 学习式导航流程的仿真到现实迁移。在数字孪生中结合 Cosmos 生成的 sim-to-real 数据训练后,四个场景的实机成功率从 65.3% 提升到 91.7%,加权行驶时间接近减半,与产线导航栈相差 8.3 个百分点,且全部在机载 Jetson AGX Xavier 上运行。