跳到正文
10月27日周二
  1. arXiv cs.RO62

    CognitiveReality:面向沉浸式协作 VR 遥操作的机器人无关语义高斯建图与 LLM 智能体

    CognitiveReality 将机器人 RGB-D 流构建为语义索引的 Gaussian-TSDF 地图,供 VR 操作者与工具调用语言智能体共享。同一建图程序仅靠配置适配不同平台,可接入机器人 SLAM、关节运动学、动捕或视觉跟踪位姿,并以影子跟踪与关键帧锚定 PnP 应对定位中断,以 2 Hz 维护开放词汇实例身份和逐物体质量。

  2. arXiv cs.RO60

    DGT-Map:面向异构车辆的多任务学习方向性全局可通行性地图

    DGT-Map 提出一种自监督框架,从 RGB-D 观测和运动信号学习全局、方向性且以车辆为条件的可通行性代价地图。它用共享多任务主干学习跨车辆的共同地形特征,再由各车辆专属预测头保留平台相关响应,推理时输出按航向索引的代价地图供方向感知规划器使用。

  3. arXiv cs.RO59

    EPCC:用慢速专家演示与快速试玩实现快于演示的规划

    作者提出 Expert-Play Contouring Control(EPCC),把慢速专家演示与快速非专家试玩结合,实现快于演示的执行速度。专家演示训练隐轨迹生成器,其预测被重参数化为与时间无关的任务进展轮廓,试玩数据训练快速动作结果的世界模型,部署时规划器沿该轮廓优化动作并惩罚偏离。

  4. arXiv cs.RO78

    X-WBC:面向人形全身控制的跨本体基础模型

    X-WBC 是一个跨本体人形全身控制基础框架,将相对共享的人体运动语义与本体特定的物理执行分离。它用人类中心命令 token 对齐完整人体运动、机器人参考运动和稀疏 VR 观测,由因果 Transformer 从多机器人混合 rollout 中学习可复用时间结构,轻量机器人专属模块再把共享表示映射到各机器人的本体感知与动作空间。

    推荐理由:论文提出跨本体人形全身控制框架,把共享人体运动语义与各本体执行解耦,并在九种仿真本体和四台实机上验证联合训练效果。

  5. arXiv cs.RO77

    AgiBot 团队发布 GE-Act 2.0 世界-动作模型技术报告

    AgiBot Research Team 发布 GE-Act 2.0 世界-动作模型技术报告,其生成与动作组件全部在操作数据上从零初始化训练,由控制导向自编码器 CoAE、单步视觉规划器 SVP 和逆动力学模型 IDM 组成,并用 KASO 联合训练。

    推荐理由:原文给出从零预训练世界-动作模型的组件设计与数据规模扩展曲线,可观察零样本跨本体迁移的变化。

  6. arXiv cs.RO71

    用 SMPC 演示与稀疏离线到在线强化学习学习移动操作

    该研究提出用仿真中的采样模型预测控制(SMPC)作为自动专家生成大规模离线数据集,再用纯稀疏任务奖励训练离策略强化学习智能体,从而免去稠密奖励的人工设计。高层智能体与低层动态稳定控制器结合后,学到的策略在任务目标上可超过原始最优控制教师。作者在搭载机械臂的 Spot 四足机器人和 G1 人形机器人上完成仿真到现实部署,论文为 CoRL 2026 录用版本。

  7. arXiv cs.RO58

    SHRIMP:用自然语言迭代修正机器人任务计划

    SHRIMP 系统让用户用自然语言自动生成分层机器人基元计划,并通过重新提示和显式修正迭代修改计划。每次修改后用户可在仿真中验证计划,满意后再在实体机器人上执行。一项 35 人参与的桌面厨房任务规划用户研究表明,SHRIMP 提升了用户的感知控制感和机器人透明度。

  8. arXiv cs.RO72

    DSMS:接触隐式多重打靶用于动态运动重定向

    研究提出接触隐式、基于直接仿真的多重打靶框架 DSMS,将运动学可行的参考动作转换为动力学可行的全身轨迹,并在非线性规划内处理接触、摩擦、碰撞与关节限位,无需预设接触时序。相比现有重定向方法,DSMS 加快运动模仿强化学习训练,策略成功率高、跟踪误差低。作者在 Unitree G1 上实现零样本仿真到现实迁移,完成行走、慢跑、接触丰富的爬行以及 180 度跳跃转身。

  9. arXiv cs.RO72

    SMAT:仿真中联合训练人-外骨骼协同适应策略并在真实受试者上验证

    研究提出分阶段多智能体训练(SMAT)方法,在物理仿真中联合训练肌肉骨骼人体智能体与双侧髋关节外骨骼控制策略,学习考虑人机协同适应的辅助策略。该策略未经受试者个体化重训练即迁移到实体髋关节外骨骼,在八名健康成年人中测试,间接测热法显示主动辅助相对被动装置使净代谢率降低19.7%(p < 0.001),髋关节机械功率正功率比为0.984,并在训练条件之外的步行速度与地形上保持有效辅助。

  10. arXiv cs.RO60

    基于 MPPI 的水面无人艇漂移目标搜索与捕获轨迹规划

    研究提出一种基于模型预测路径积分(MPPI)控制的时空信息规划方法,用于水面无人艇(ASV)搜索并捕获多个漂移目标。规划器通过代价设计耦合目标漂移预测与探索目标,在长时域上优化连续轨迹并直接生成运动学指令,拦截阶段使用纯追踪制导完成物理捕获。仿真中捕获目标数比最强基线多 18%,并在实艇试验中验证了该方法。

  11. arXiv cs.RO61

    MRO-GWM:面向刚体对象的动作条件与物体中心高斯泼溅世界模型

    作者提出 MRO-GWM,一种以物体为中心的高斯世界模型,用于学习三维刚体对象的动作条件动力学。模型用物体坐标系下的高斯表示任意形状与多物体场景,并通过时序-空间 Transformer 从历史高斯和未来动作预测刚体运动;训练基于多视角重建,需处理遮挡导致的局部观测。

  12. arXiv cs.RO74

    Crazyflow:基于 JAX 的 GPU 加速可微无人机仿真器

    作者提出 Crazyflow,一个基于 JAX 的可微无人机仿真器,把高保真动力学与 GPU 加速结合,可在单 CPU 和 GPU 上扩展到数百万环境或数千架无人机的集群。实机实验显示,它支持解析梯度策略学习,无需域随机化即可实现高精度跟踪,采样式避障速度超过每秒 5 亿步。作者还演示了飞行中强化学习:把实体无人机抛向空中后,从零训练恢复策略仅用 0.37 秒,并在落地前接住。

  13. arXiv cs.RO58

    Haptic Sorter:在线形状估计与实时位姿推断的统一规划框架

    作者提出 Haptic Sorter 统一基于模型的几何框架,把机器人触觉感知、建模与操作规划结合起来,用于物体形状和位姿未知时的操作。框架用贝叶斯优化引导触觉探索并以超椭圆近似几何边界,用编码物体几何的自适应操作势描述准静态机器人-物体交互,还提出基于模型预测与触觉反馈的在线常微分方程实现实时位姿推断。系统在 2D 机器人分拣任务上部署,通过改变物体几何在仿真和真实多臂装置中验证鲁棒性与泛化性。

  14. arXiv cs.RO58

    LLM引导未来假设用于多步机器人操作的水平感知探索

    论文提出未来经验条件化(FEC),用短时未来视频的隐表示作为闭环策略的条件,用于多步机器人操作中的探索与策略适应。未来片段分三步生成:LLM 推理器基于当前场景状态初始化的任务本体推理、无机器人数字孪生推演目标物体运动、无掩码视频扩散模型合成与机器人一致的未来片段。

  15. arXiv cs.RO67

    WorldArena 2.0 发布:从模态、功能与平台三方面扩展具身世界模型基准

    WorldArena 2.0 发布,从模态、功能与平台三个维度扩展具身世界模型评测。模态上从纯视觉扩展到视触觉,功能上从策略评估与规划扩展到把世界模型作为交互式强化学习环境用于策略优化,平台上从仅仿真扩展到多种仿真与真实机器人本体。该基准按统一协议评估感知质量、交互效用与跨平台表现,项目页提供代码与演示。

  16. arXiv cs.RO72

    RoboEvolve:面向机器人操作的规划器-模拟器共同进化框架

    RoboEvolve 将 VLM 规划器与 VGM 模拟器耦合成相互强化的共同进化闭环,用无标注种子图像自举,缓解操作数据稀缺问题。实验显示其将基础规划器提升 30 个绝对点、模拟器成功率平均提升 48%,仅用 500 张无标注种子图像即超过全监督基线,初始强化学习数据减少 50 倍。

  17. arXiv cs.RO60

    BEACON:通过尽力适配实现生成式机器人策略的跨域协同训练

    BEACON 提出一种理论引导的跨域协同训练框架,用充足源演示与有限目标演示训练基于扩散模型的视觉运动策略,并将协同训练建模为差异感知的重要性重加权问题。方法引入可扩展的实例级差异代理、策略与权重的随机交替更新以及多源扩展,在 sim-to-sim、sim-to-real 和多源操作设置中相比仅用目标数据、固定比例协同训练和特征对齐基线提升了鲁棒性与数据效率。

  18. arXiv cs.RO71

    RoboGene:面向 VLA 预训练的多臂形态多样化任务生成框架

    RoboGene 是一个面向单臂、双臂和移动机器人的智能体任务生成框架,用于在 VLA 预训练前自动产出多样化操作任务。它结合多样性驱动采样、智能体自我反思评估任务质量,以及经人工核验的反馈记忆做执行验证与持续改进,共采集 1.8 万条轨迹,并引入任务可行性与多样性指标。

  19. arXiv cs.RO71

    UniManip:基于智能体操作图的开放世界机器人操作框架

    UniManip 提出以智能体操作图(AOG)为核心的统一框架,用于开放世界机器人操作的任务编排、状态跟踪、执行验证与闭环失败恢复。该方法通过物理接地场景图把高层语义意图落到可执行原语,并结合安全感知局部规划器生成无碰撞轨迹。在 LIBERO-Pro 上取得最优性能,真实实验中任务成功率分别比领先 VLA 模型和分层基线高 22.5% 和 25.0%。

  20. arXiv cs.RO71

    Guardian:用视觉语言模型检测机器人规划与执行错误

    研究提出自动生成机器人规划与执行失败数据的框架,构建了基于RLBench和BridgeDataV2的GuardianFail-36k失败推理数据集,并训练多视角推理视觉语言模型Guardian。Guardian在RoboFail、RoboVQA和新提出的UR5-Fail三个未见真实世界基准上取得最优性能,与基于大语言模型的操作策略结合后,在仿真和真实部署中均提升任务成功率。代码、数据和模型已公开。

  21. arXiv cs.RO62

    IndustryNav:评估具身智能体在动态工业导航中的空间推理与安全性

    作者提出 IndustryNav 仿真环境,包含 24 个仓库场景,用于闭环导航到指定目的地,并引入记录碰撞与近碰撞警告的安全指标。对 11 个主流开源与闭源 VLLM 及 3 个导航基线的实验显示,智能体能到达目标却会撞上移动障碍物,暴露出任务成功与安全导航之间的差距。

  22. arXiv cs.RO53

    研究提出用虚拟非完整约束实现非抓取式机器人接物

    该论文提出用虚拟非完整约束(VNHC)解决非抓取式机器人接物问题,直接依据物体被抓取前的状态设计和控制末端执行器运动,无需预测物体轨迹并生成时变机器人轨迹。在平面情形下,该方法可在期望高度接住物体,并使接触瞬间的相对法向速度最小,同一 VNHC 函数只依赖目标接取高度,可覆盖多种初始条件。接触后使用模型预测控制(MPC)使物体与末端执行器停在指定位置,目前已在仿真中验证。

  23. arXiv cs.RO72

    视频世界模型需要可预测的潜空间

    该论文提出让视频世界模型的潜空间同时兼顾可预测性与像素重建精度,通过表征学习的时间目标配合过去条件化解码器架构实现。在相同训练预算下,推理成本最高降低 5 倍、训练速度提升 7 倍以上,分布外与长时程预测的像素和感知误差降低 15-24%。作者认为时间可预测性应作为视频世界模型潜空间的重要设计准则,并给出将其纳入自编码器训练的具体做法。

  24. arXiv cs.RO49

    果蝇全脑记录与神经力学数字孪生:分层探索的内在目标如何捕捉未来自主行动

    研究结合果蝇全脑记录与神经力学数字孪生,测试用内在动机算法训练的智能体能否在虚拟系留球实验中复现果蝇的自主探索行为。智能体从离散低级运动基元库中选择动作,在无外部奖励下用20种内在动机算法训练;其中DIAYN在行为与神经前瞻编码上最接近果蝇,并复现了半球间运动学编码的加减规则。

  25. arXiv cs.RO58

    Patchwork:面向域随机化具身仿真的资源共享系统

    作者提出 Patchwork,一个面向域随机化仿真的资源共享系统,基于 E=T+Δ 表示,用共享模板加补丁记录环境变更,并在 robosuite 与 MuJoCo 上实现。在 LIBERO-plus 和 RoboCasa365 负载上,32 个副本时共享模板执行相比每环境一进程将 CPU RSS 降低 88-92%。实验显示内存增长更多取决于模板多样性与独有资产内容,而非实例数量。

  26. arXiv cs.RO72

    FLORE:学习力反应式人形机器人移动操作

    研究团队提出 FLORE 框架,用两只带力传感的 UMI 式手持夹爪和可穿戴追踪器采集无机器人演示,训练以视觉、本体感知和测量力旋量为输入的力反应扩散策略,输出动作与每只手力指令。配套的混合柔顺全身控制器借助真实力/力矩传感器的力误差积分实现单手力跟踪并保持平衡。在三项接触密集任务实机测试中,力反应策略成功率为 80%,同一控制器下仅位置策略为 26.7%。

  27. arXiv cs.RO71

    面向足式运动的可微接触动力学:策略学习与接触隐式轨迹优化

    该论文提出一种用于摩擦接触的平滑解析梯度,仅在后向传播中替换精确接触敏感度,前向硬接触求解与实机可行轨迹保持不变。作者用10万样本、在台式机上训练不到2分钟得到的策略无需微调即可迁移到硬件,机器人在小跑策略下能承受推挤并穿越碎石和湿滑地面;在轨迹优化中,该梯度能找到精确梯度和Signorini松弛梯度遗漏的富接触解。

  28. arXiv cs.RO62

    Specola:基于 STL 规范驱动机器人仿真评测工具

    Specola 是一个在仿真中按信号时序逻辑(STL)规范评测机器人行为的工具,提供 Python API 和命令行接口,可接入现有策略执行循环。它给出适配器接口,并已提供 LIBERO、RoboCasa、Isaac Lab、RoboDojo 等九个仿真环境与基准的适配器,用于补充成功率之外的满足程度、参数敏感性和违规要求等信息。