跳到正文
11月5日周四
  1. arXiv cs.RO78

    NVIDIA 提出基于 Cosmos 的交互式世界仿真框架

    NVIDIA 提出一个共享框架,将 Cosmos 世界基础模型适配为面向 Physical AI 的实时交互式世界仿真。该框架能根据动作和场景控制流式输出视觉观测,既支持预测动作的视觉后果,也支持从外部仿真器维护的物理状态生成观测。作者在相机导航、机器人操作、可控视频迁移和多视角自动驾驶仿真中做了演示,并公开了代码与模型检查点。

    推荐理由:NVIDIA 把 Cosmos 世界基础模型改造成可实时交互的仿真框架,并公开代码与权重,读者可据此判断世界模型在机器人训练中的可用边界。

  2. arXiv cs.RO62

    ReactWorld:用结构化交互响应引导具身视频生成

    ReactWorld 是一个由结构化交互预判引导的具身视频生成模型,在生成骨干的特征空间中预测交互走向,显式描述参与者角色、未来运动响应强度和局部运动变化。它通过响应反馈适配器把预测位移转为时间注意力的位置偏置,引导跨帧的物体特征更新与信息检索。

  3. arXiv cs.RO38

    3D旋转表示:数学基础与对比分析

    该论文系统梳理了SO(3)的多种旋转表示,包括欧拉角、轴角向量、四元数、旋转矩阵、指数映射及新兴的连续与概率方法,并从连续性、万向锁敏感性、计算效率、存储需求、插值与复合运算等维度进行对比。实证结果表明四元数因紧凑高效而占优,6D连续表示与矩阵Fisher分布则在连续性和不确定性建模上更具优势。

  4. arXiv cs.RO84

    HALO:从仿真合成数据训练的人形机器人自主系统实现零样本实机迁移

    研究团队提出人形机器人自主系统 HALO,通过在约一千个程序化生成的家庭场景中合成视觉-语言-动作数据,摆脱对遥操作采集的依赖。HALO 习得坐椅子、导航到指定物体、侧身穿半开门、蹲爬桌下和推箱子等技能,并能组合完成长程任务。训练中未见过真实家庭场景,HALO 零样本迁移到物理世界,在六个未建图真实环境的 360 次试验中达到 91% 成功率。

    推荐理由:论文给出用程序化生成家庭场景合成视觉-语言-动作数据、再零样本迁移到实机的完整路径,可参考其数据规模化思路。

  5. arXiv cs.RO65

    VABAR:面向智能体机器人的变异性自动化基准发布

    作者提出面向智能体机器人的变异性自动化基准 VABAR,基于开源工具与 Newton 物理引擎构建仿真操作评测。该基准覆盖工具分拣、工具悬挂、齿轮啮合、注射器装填、线缆插入与线缆布线六类操作任务,包含标准化任务变体、难度分级、成功指标和 33 项可泛化技能及人工编写的程序化参考解。论文还给出基于 Graph-as-Policy(GaP)与 Isaac Lab Arena 的初始基线评测。

  6. arXiv cs.RO67

    PyRUA-REAL:编码智能体在真实世界探索中实现机器人递归自我改进

    PyRUA-REAL 框架让编码智能体把真实交互经验保存为持久记忆和可复用可执行技能,用于后续探索与代码改进。在八项真实世界操作任务上平均成功率为 91.1%,在 RoboDojo 基准的 42 项任务上平均成功率为 84.4%。研究还考察了智能体协作方式、执行反馈对代码改进的作用,以及任务描述和已有技能对鲁棒性与任务迁移的影响。

  7. arXiv cs.RO63

    VLA 推理时间花在哪:跨 GPU 的瓶颈与优化交互分析

    该论文对七类 VLA 推理优化方法做了系统测量,覆盖 7 个先进 VLA 模型和从数据中心 H100 到嵌入式 Jetson Thor 的四类 GPU。研究分析了 CPU 启动开销、内存带宽与内核效率如何共同决定优化收益,以及一种方法如何改变另一种方法的效果,并据此提出在延迟预算下叠加优化的 VLA-Triage 指南。

  8. arXiv cs.RO70

    哪类触觉物理线索对接触密集模仿学习更重要:真实机器人受控研究

    该研究在 LeRobot 平台上用真实机器人开展受控实验,比较触觉 RGB 图像、法向/深度图与标记流场三类物理线索对接触密集模仿学习的影响。720 次真实机器人试验显示,触觉感知把整体成功率从 57.8% 提升到 78.9%,其中标记流场作为单一线索最有效,成功率达 74.4%,在维持已建立接触时作用尤为突出。

  9. arXiv cs.RO62

    基于 aSSM 模型与 MPC 的软体躯干机器人动态形状控制

    研究团队从数据中学习修剪螺旋面软体躯干机器人全身的绝热谱子流形(aSSM)模型,并将其用于模型预测控制(MPC),在硬件上完成多种形状控制任务。在闭环动态形状调节中,该方法比现有线性基线好 10 倍;在人机交互演示中完成分段塑形并平衡网球超过 25 秒,而线性基线未能完成。在硬件上训练 12 小时的无模型强化学习策略在同一平衡任务上失败。

  10. arXiv cs.RO72

    soccerbot:用潜在运动先验学习人形机器人足球技能

    作者提出 soccerbot 分层强化学习框架,从大规模人类足球动作捕捉数据中蒸馏结构化潜在运动先验,把策略学习约束在动态可行的运动流形内。单一技能条件策略由此统一学会移动、带球、停球和踢球,并在技能切换时保持类人动作与流畅过渡。该框架经面向鲁棒性的仿真设计后零样本迁移到 Unitree G1 人形机器人,在真实环境中完成整套足球技能。

  11. arXiv cs.RO57

    H^2MARL:面向人形机器人全身控制的分层异质多智能体强化学习框架

    作者提出 H^2MARL 分层异质多智能体强化学习框架,用于人形机器人全身控制。该方法按关节自由度(JDoF)做物理异质性感知的策略分解,让每个扭矩驱动关节以自身驱动、运动学与动力学属性描述符为条件,并通过闭环策略-执行器协同优化,用共享交互轨迹联合调整高层姿态规划器与低层关节执行器。

  12. arXiv cs.RO65

    RoboCasa-Mem:面向长程移动操作的环境与过程记忆基准

    作者提出 RoboCasa-Mem 基准,包含九项需要智能体在关键决策点使用交互历史的移动操作任务,任务分为环境记忆与过程记忆两类。该基准引入行为条件评测,对存在多条有效执行路径的任务,根据机器人先前动作推导后续任务约束,并减少固定目标分配带来的捷径。

  13. arXiv cs.RO62

    失败边界剖面:面向驾驶与机器人导航智能体的闭环评测新方法

    研究提出失败边界剖面评测方法,让每个场景族只改变一个可测因素(如走廊宽度或对向车流时间间隔),并依据测量把每个变体标注为智能体应通行或应停车。沿该轴为每个智能体估计承诺(尝试通行的概率)与能力(无接触通过的概率)两条曲线,定位各自与0.5的交点并给出考虑仿真器运行间方差的区间,同时用认证标签得到决策准确率指标。

  14. arXiv cs.RO60

    A³-VLA:面向机器人操作的自动感知引导注意力对齐框架

    作者提出 A³-VLA 框架,从操作过程本身生成目标物体与机器人的候选区域,并用视觉分割模型离线精修,作为显式感知引导。该框架通过注意力分配损失和对比学习损失,让语言或机器人状态 token 查询视觉输入时聚焦任务关键区域。在仿真与真实操作任务上,A³-VLA 对多个 VLA 主干模型均有提升,基准平均成功率提高 6.5%–25.2%。

  15. arXiv cs.RO64

    TwinBridge:用数字孪生迁移策略与奖励,实现实验室机器人真实世界强化学习

    TwinBridge 提出一种数字孪生驱动的框架,为真实世界在线强化学习提供策略初始化和稠密视觉奖励。该方法用 3D Gaussian splatting 结合物理仿真构建数字孪生,由仿真状态给出任务事件与几何进度,用于仿真演示预训练和强化学习,再蒸馏为视觉奖励模型,与执行历史结合计算稠密奖励,支持人在回路策略优化。

  16. arXiv cs.RO40

    涡流吸盘抓取软物体时的涡流诱导扭矩:几何与气动参数的影响

    研究量化了涡流吸盘抓取柔性物体时,供气压力、切向喷嘴直径、表面几何与曲率对涡流诱导扭矩的耦合影响。增大切向喷嘴直径主要提升扭矩对供气压力的敏感度,而非普遍提高扭矩;圆顶凹面因与吸盘几何匹配较好,扭矩明显大于圆顶凸面,圆柱凹面与凸面差异较小。高斯过程回归在重复交叉验证中预测性能最佳,表明可由气动与几何参数联合估计该扭矩。

  17. arXiv cs.RO58

    基于黎曼优化的移动连续体机器人全身避障框架

    研究提出面向移动连续体机器人的统一规划与控制框架,将A*搜索与最小加加速度规划构成的全局层,与几何一致逆运动学求解器和黎曼优化构成的局部层结合,协调移动底座与连续体变形以避障。作者在仿真管道穿越任务中与多个基线规划器对比,并开展密集障碍导航与狭窄空间操作的实机实验,结果显示运动一致性、可行性与适应性有所提升。

  18. arXiv cs.RO56

    从演示学习操作:在线适应物体潜在物理属性

    作者提出一种从演示学习的方法,联合学习动力学模型与物体特定的物理属性隐表示,并用在线估计的隐表示条件化模仿策略,使机器人能根据交互中获得的物理属性信息调整重抓取和接触位置等操作动作。执行时动力学模型与策略权重保持固定,仅根据预测观测与实际观测的偏差更新隐表示。在质心不同的物体上,真实世界与仿真实验显示在线适应可提升任务成功率,但仿真中演示未覆盖的质心位置成功率仍约30%,对未见物理属性的适应有限。

  19. arXiv cs.RO65

    从人类数据学习物体中心运动先验,用于机器人灵巧操作

    该论文提出从人类手物交互(HOI)数据集中学习整体预测未来手物状态,并将预测的物体未来状态作为强化学习的通用奖励项,减少对任务专属奖励工程的依赖。作者在仿真和真实世界的三个操作任务上实验,称在成功率和针对新物体的泛化性上优于现有 SOTA 方法,并验证了跨本体兼容性,可将技能部署到不同机器人手上。该工作已被 AAAI 2026 接收为 oral 论文。

  20. arXiv cs.RO58

    基于统计杠杆分数的多样性感知经验回放方法

    该论文提出用统计杠杆分数为回放缓冲区中的每条转移打分,并按该分数与均匀采样的混合方式抽取小批量,以缓解机器人离线经验中稀有事件采样不足的问题。方法在动作以 one-hot 编码存储时改用峰度最大的特征列,并放弃优先回放的重要性权重修正,直接优化重平衡目标;对目标相关的稀有情形则对短轨迹窗口套用同一尾部规则。

  21. arXiv cs.RO58

    RACE:面向机器人策略检查点选择的免 rollout 校准累积评分

    研究提出 RACE,一种无需实机 rollout 的机器人策略检查点评分指标,用固定留出的成功轨迹对动作偏差做状态条件阈值校准,再以连乘累积降低大幅偏差后参考预测的权重。仿真中 RACE 在不同验证来源下优于基线,部分基线在验证集变化时明显退化;在真实机器人上,其排序在所评估的策略骨干和不同难度任务上与部署成功率一致。

  22. arXiv cs.RO57

    基于生成式海洋模型的多机器人闭环自适应采样框架

    作者提出一种多机器人闭环自适应采样框架,用单个学习生成模型同时完成预测、不确定性估计、规划和测量同化。模型在潜空间生成集合预报并解码为物理海洋状态,用集合统计量构造A-或D-最优采样目标,在预测海流约束的机器人可达范围内选点,并通过观测条件扩散采样把测量回灌潜状态。

  23. arXiv cs.RO61

    PHIL:通过偏好学习实现主动式人在回路干预

    论文提出 PHIL 框架,让操作员通过 XR 界面预览策略预测的未来动作,在不良动作发生前接管纠正,并将被拒绝的预测与纠正动作配对用于偏好后训练。在四项真实操作任务上,每条件五次纠正回合,扩散策略平均成功率从 44.0% 提升到 70.3%,X-VLA 从 57.8% 提升到 76.9%,对比基线为 HG-DAgger;用主动纠正训练的策略在成功回合中不必要的恢复行为更少。

  24. arXiv cs.RO62

    ELA:从视频演示中端到端学习潜在动作策略

    ELA 是一个从视频演示中端到端学习潜在动作的框架,将潜在动作模型、潜在动作策略与动作解码器联合训练,使策略能利用大量视频数据和少量带动作标注的机器人演示。在仿真与真实操作任务上,ELA 表现优于此前的潜在动作基线,并可通过 4M 参数的动作解码器与现有模仿学习方法结合,无需改动策略架构或训练目标。

  25. arXiv cs.RO72

    Ctrl-F:以力为接口的人形移动操作分层框架

    研究提出 Ctrl-F 分层运动-力框架,在运动跟踪中加入手、脚等接触部位的三维力指令,由高层力规划器根据物体状态和本体感知在线给出力命令。仿真与实机中,Ctrl-F 完成手部拖拽、推动、抬举和足部踢击,在推动与踢击任务中操作最重 20kg 的箱子,并能在线适应任务中途增加的负载,而无力感知的基线在同类任务中失败。