跳到正文
10月21日周三
  1. arXiv cs.RO60

    FIBER:面向人形机器人 loco-manipulation 的动作对齐隐空间规划框架

    论文提出 FIBER 框架,用冻结行为基础模型(BFM)的可执行隐空间作为异构交互技能的共享规划表示,其隐策略投影(LPP)将独立训练的任务策略映射到该表示,从而实现低频规划并保留 BFM 的高频状态反馈,随后离线训练单一感知流规划器;还提出用多 gamma 前后向学习训练的自适应时域 BFM(AH-BFM)。

  2. arXiv cs.RO67

    不依赖机器人采集示教,学习双臂腹腔镜阑尾切除并在活体动物上验证

    该论文提出一套端到端流程,用安装在标准腹腔镜器械杆上的器械状态记录仪(结合惯性传感器、飞行时间传感器和霍尔传感器,无需外部相机或追踪器)采集外科医生操作时的器械位姿与钳口状态,用于训练手术机器人策略并在活体动物上验证。

  3. arXiv cs.RO58

    WorldScape Policy 2.0:以推理增强记忆与上下文学习实现可操控的世界动作建模

    论文提出 WorldScape Policy 2.0,一种带推理增强长短期记忆的可控世界动作模型(WAM)。其因果短期视觉记忆将近期观测作为 DiT 预填以保留局部交互动态,长期事件记忆则把历史 VLM 输出组织为全局历史、局部活跃与事件边界表示,用于进度感知检索并生成隐式子目标条件。

  4. arXiv cs.RO62

    自主数据采集与离线强化学习用于局部接触密集操作任务

    论文提出模块化方法,在接触密集任务的局部区段自主采集数据并用离线强化学习训练局部策略,再与传统运动规划集成完成长时程装配任务。在四个真实任务中仅用2-2.5小时自主采集数据,长时程任务平均成功率达96%,规划-only基线为55%,最强端到端基线为37%;局部策略还将施加力降低49%。在场景级分布外场景下性能保持在90%,共完成超过1500次真实评测rollout。

  5. arXiv cs.RO78

    研究用激活注入机制解析视觉-语言-动作模型

    研究者提出一套可解释性流程,用于分析微调后的视觉-语言-动作(VLA)策略内部在计算什么。在 pi0.5 上,把任务 A 的激活注入动作专家、同时让策略观看任务 B 场景,99.6% 的回合(n=1968)会执行任务 A 的运动轨迹,说明注入的程序绑定在绝对工作空间坐标上并忽略可见场景。

    推荐理由:研究用激活注入拆解 VLA 策略的内部计算,为理解其扰动脆弱性提供了机制层面的解释。

  6. arXiv cs.RO45

    腿式机器人关节力矩控制中的动作与风格先验学习方法

    一项针对腿式机器人深度强化学习的研究提出,用少量专家示范数据中学习到的隐动作作为归纳偏置,帮助关节级力矩控制策略更高效地探索。该先验使智能体不受示范奖励水平限制,显著提升迁移任务表现;结合风格奖励进行模仿后,可更贴近专家行为。相关视频已公开。

  7. arXiv cs.RO55

    Joints, Camera, Action! 面向任意骨架的3D动作与视频协同生成模型

    论文提出一个模型,可为任意给定骨架同时协同生成视频与3D动作,并生成将该动作配准到场景的相机。该模型将3D动作保留在独立模块中以支持任意骨架,通过少量交叉注意力层与预训练视频模型连接,并利用生成式视频编辑器整理出近200K训练对。评测显示其从文本驱动多样骨架动画比视频优先的流程更忠实,动作会响应周围场景,还支持视频转骨架动作、骨架动作转视频以及基于关键帧的3D动作控制。

  8. arXiv cs.RO57

    AdaDex:用混合灵巧模仿从单条轨迹学习可泛化的灵巧技能

    AdaDex 是一个目标条件强化学习框架,把几秒的人手-物体轨迹(来自动捕数据或野外 RGB(D) 视频的 HOI 重建)转化为可泛化的灵巧技能。其核心 Hybrid Dexterous Mimicking 在两组大规模并行环境中训练共享策略:带稠密动作跟踪目标的环境注入人体先验,带噪声初始状态与目标、稀疏物体成功奖励的环境迫使技能偏离参考轨迹也能工作。

  9. arXiv cs.RO62

    REACT:VLM 引导接触重定向与生成式伙伴建模实现人形机器人-人交互

    REACT 是一个从人-人演示学习可部署人形机器人-人交互策略的框架,以语义接触结构作为监督信号串联演示处理、交互学习与机载控制。它用 VLM 引导的接触建模与重定向管线识别语义接触并迁移到人形-人几何上,再将特权交互策略蒸馏为完全依赖机载传感的自我中心深度策略,并引入生成式伙伴状态建模目标从遮挡视角预测伙伴运动。

  10. arXiv cs.RO78

    SuperMimic:用一个可微世界模型扩展人形机器人全身控制

    SuperMimic 用一个共享动力学的可微世界模型,在单一训练循环中同时训练世界模型与跟踪策略,通过短想象轨迹上的 backpropagation-through-time 为策略提供解析梯度。

    推荐理由:论文给出了用单一可微世界模型替代大规模强化学习训练的具体路径和算力对比数据,可评估其对人形全身控制规模化的影响。

  11. arXiv cs.RO67

    Idealworks 与 NVIDIA 评测 COMPASS 导航的仿真到现实迁移

    Idealworks 与 NVIDIA 在工业移动机器人上系统评测 X-Mobility 与 COMPASS 学习式导航流程的仿真到现实迁移。在数字孪生中结合 Cosmos 生成的 sim-to-real 数据训练后,四个场景的实机成功率从 65.3% 提升到 91.7%,加权行驶时间接近减半,与产线导航栈相差 8.3 个百分点,且全部在机载 Jetson AGX Xavier 上运行。

  12. arXiv cs.RO55

    从预测几何到动作:为具身操作学习互补预测表征

    论文提出一个两阶段框架,从多视角视频片段中学习互补的预测表征以增强具身操作策略。预训练阶段用冻结的3D基础模型提供稠密几何特征,压缩为预测几何表征并优化以保留场景结构及其时序演化,再对几何转变施加动作监督以提取强调动作相关转变的运动表征;下游后训练阶段通过几何查询迁移预测几何,运动表征引导动作生成路径上的中间特征,未来观测仅作为训练期特权监督,推理时不需要。

  13. arXiv cs.RO44

    用期望自由能控制世界模型规划的测试时计算量:何时停止思考

    研究探讨了期望自由能(EFE)能否决定基于学习世界模型的规划该投入多少计算量,其目标函数结合目标距离与随机预测的分歧。实验发现,精英代价停滞时停止可减少精修且平均成功率接近固定深度参考;冻结模型下奖励分歧会降低成功率,而在线更新能部分恢复训练数据缺失区域造成的损失。代价停滞规则在优化利用模型误差时会失效,预测代价在任务成功率见顶后仍持续下降。

  14. arXiv cs.RO57

    PointHand 用户研究:关键点手部渲染如何影响新手遥操作示教与扩散策略成功率

    论文提出 PointHand 遥操作界面,把多指机械手渲染为指尖与关节的稀疏关键点,与策略可观测的关键点一致。在仿真 mug-in-box 任务中,18 名新手与 4 名专家在三种渲染条件下共采集 2,200 次试验,其中看到拇指与食指强调渲染的新手在 600 次试验中获得 441 次成功示教,高于真实手形渲染的 320 次。

  15. arXiv cs.RO47

    PLaCA:基于未来隐变量变化的机器人动作生成框架

    PLaCA 提出一种世界到动作框架,直接从当前多模态输入预测空间结构化的 patch 级未来隐变量变化,并将其显式接入动作生成。在 LIBERO-Long 上 PLaCA 成功率达 79.0%,较 Action-only 基线提升 5.0 个百分点;在 CALVIN 上平均序列长度从 2.784 提升至 3.564。第二阶段训练仅更新 2.95% 的模型参数。

  16. arXiv cs.RO62

    EchoNav:用历史观测做证据式BEV补全的视觉导航

    EchoNav提出一种从短RGB序列预测证据式鸟瞰图(BEV)表示的视觉导航框架,结合时序聚合与占据补全,无需深度或相机位姿输入,也不做显式几何变换。该框架在仿真双目标顺序导航中成功率达89.6%,比最强基线高32.5个百分点;在20个场景的60次轮式机器人试验中成功率为73.3%,基线为33.3%。作者还在四足与人形机器人上做了额外演示。

  17. arXiv cs.RO55

    VLA 模型的故障归因:估计移除视觉损坏的收益

    论文定义了视觉-语言-动作(VLA)模型的故障归因问题,即在多个视觉损坏共存时判断哪些损坏贡献了失败风险、移除它们能带来多大收益。作者提出一种分解式风险模型,分别学习场景与损坏的表征,仅从当前图像和任务指令通过潜变量干预估计移除收益,无需配对干净图像或额外反事实回滚。

  18. arXiv cs.RO47

    Learning to Be Different:面向组合扩散策略的组件专门化方法

    一项研究提出名为 score-decorrelation 的即插即用辅助损失,用于解决线性组合分数的扩散策略在多任务机器人学习中组件预测趋同、难以解释的问题。该损失通过惩罚组件噪声预测之间的重叠来鼓励专门化,几乎不改动架构、计算开销很小。在多个基准上的实验显示,该方法持续降低组件间的重复计数、改善任务分解,并在不影响多任务性能的前提下产生有行为意义的专门化。