跳到正文
11月2日周一
  1. Robotics & Automation News50

    TorqueAGI 创始人访谈:多数机器人 AI 只是加了机器人数据的语言或视觉模型

    TorqueAGI 正在为工业机器人和重型机械提供“世界推理模型”智能层,而非自研硬件,该模型以时空图表示物体、机器与工作流,并将物理和几何纳入推理。公司称新任务通常只需几十个示例而非数万个,并需在仿真和客户现场监督运行中验证后才可无人值守作业。同一模型已在单臂、双臂机器人、移动平台、剪叉升降机、人形机器人和拖拉机上运行,机身相关细节仍需逐机描述。

  2. arXiv cs.RO62

    GenSight:统一视频生成与4D感知的具身世界模型

    GenSight 是一个统一的具身世界模型,把未来视频生成与稠密感知整合进同一个预训练视频扩散 Transformer。它用统一的时空表示覆盖视频、深度、具身分割和相对首帧的2D光流,基于共享 DiT 主干以轻量任务调制在同一架构内预测各模态,并在统一速度预测空间联合优化。推理时支持多步未来视频生成加对齐稠密预测,以及从观测视频做单步稠密感知,训练数据涵盖多种机器人本体与人类手部交互。

  3. arXiv cs.RO62

    MUSBRIC:乐高兼容气动肌肉模块,用于可重构肌骨机器人

    作者提出 MUSBRIC,一套面向可重构肌骨机器人的模块化硬件平台及配套 MuJoCo 仿真器,通过乐高兼容端盖把纤维增强伸长型气动人工肌肉变成可插拔复用的肌肉模块。肘关节原型验证了随载荷变化的屈伸,滑轮导向实现可逆运动,机械限位稳定伸直姿态;机械手展示柔性抓取与多关节搭建,15 种腿部构型在硬件与仿真中完成匹配扫描,四腿组装的四足机器人实现行走。硬件设计与仿真代码将开源。

  4. arXiv cs.RO72

    OpenFlyV2:面向空中感知与导航的机载视觉-语言-动作模型

    OpenFlyV2 是一个统一的机载视觉-语言-动作架构,用共享视觉-语言表征在单一模型中支持语义理解、语言定位感知、空间推理与连续飞行控制。作者构建了约 7 万条导航轨迹和 6 万对视觉-语言指令-响应的仿真数据集,模型在 NVIDIA Jetson Orin NX 上完全机载以 10 Hz 生成每块 12 个航点的动作块。

  5. arXiv cs.RO80

    TacClaw-Infinity:面向灵巧操作的大规模视觉-触觉-语言-动作数据集

    研究团队发布 TacClaw-Infinity 大规模结构化视觉-触觉-语言-动作(VTLA)数据集,用于接触密集型操作,规模超过 10000 小时、100 万条 episode、10 亿帧,覆盖 1000 多种任务类型。

    推荐理由:该数据集给出万小时级触觉操作数据的采集接口与质量控制流程,可供参考其跨本体迁移验证方式。

  6. arXiv cs.RO75

    D4orm 扩散去噪框架扩展为多机器人轨迹规划器族

    该论文基于动力学感知的扩散去噪框架 D4orm,构建了面向不同运行需求的多机器人轨迹规划器族,包括解耦规划器、带反馈控制的在线滚动时域规划器和分布式规划器。在二维和三维环境中的差速驱动与全向机器人评测显示,基于 D4orm 的方法比 MPPI 等采样优化方法和一种基于学习扩散模型的方法更快、更可靠地找到高质量解。

  7. arXiv cs.RO67

    DR-LfD:用原子技能与视觉运动策略分解重组示教完成双臂操作规划

    作者提出 DR-LfD 框架,将视觉运动策略接入 TAMP 门控决策系统,按接触关系把人类示教拆成原子技能,再以视觉运动策略或物体中心基元复现并重组。该方法把示教数据需求从随技能序列指数增长转为随技能种类数增长,在 DexMimicGen 两个任务上以 100 条示教超过使用 1000 条示教的扩散模仿策略。论文已被 T-RO 接收。

  8. arXiv cs.RO58

    把机械臂当姿态执行器:自由漂浮航天器无推进剂姿态机动规划

    该研究把机械臂运动用于自由漂浮航天器的无推进剂姿态控制,将其建模为带关节与避碰约束的轨迹优化问题,并用内点法求解。在一系列航天器-机械臂系统上,该方法算出了最大 90° 的静止到静止转向轨迹,以及角速度降低 40% 的消旋轨迹。作者还通过动量与力矩包络,把机械臂的控制能力与反作用轮阵列直接对比,指出机械臂可作冗余乃至主姿态控制系统,在抓取高相对质量载荷的空间装配与制造中尤其有前景。

  9. arXiv cs.RO69

    TacO:面向物体操作的触觉传感器基准评测

    作者提出 TacO 框架,按操作策略表现系统评测触觉传感器,覆盖视觉、声学、磁性和电阻四种模态。研究在未知质量抓取放置、物体重定向和插孔三类任务上分别训练策略,分析空间分辨率、剪切感知、触觉表征和材料摩擦等传感器特性对任务表现的影响。结果显示触觉信息的价值取决于传感器模态、材料属性和具体操作任务,并非普遍有益;传感器、代码、数据与硬件方案将在项目网站公开。

  10. arXiv cs.RO62

    FlowTouch:视角无关的视觉-触觉预测模型

    FlowTouch 是一个视角无关的视觉-触觉预测模型,用物体局部三维网格编码信息来预测触觉图案,从而在未接触物体时也能获得触觉反馈。该方法结合场景重建与基于 Flow Matching 的图像生成模型,结果显示它能缩小仿真到现实的差距并泛化到新的传感器实例,生成的触觉图像还可用于下游抓取稳定性预测。代码、数据集和视频已公开。

  11. arXiv cs.RO62

    CausalWAM:在世界动作模型中学习动作的因果来源

    作者提出 CWAM(Causal WAM),通过在世界动作模型的动作头上增加稀疏路由路径,把真正驱动动作的隐变量与场景预测所依赖的干扰变量分离,世界建模目标保持不变。论文证明在稀疏约束下,用于生成动作的隐变量是动作相关隐变量的可逆函数,真实结构可在隐变量置换意义下被识别,且不要求充分的时间依赖或对未观测状态演化作假设。合成数据与真实机器人实验验证了该理论,并显示闭环成功率效率提升。

  12. arXiv cs.RO60

    Sensorium:面向具身手术 AI 的开源多模态数据采集与整理库

    作者发布开源 Python 库 Sensorium,基于 ROS 和 ROS2 中间件,从可配置的机器人与传感器数据流中录制、处理、标注并整理多模态手术数据,覆盖操作端采集、可配置处理、语义标注和按片段生成数据集。该库在 1516 次体模、离体和活体猪实验录制上完成评估,涉及多种手术任务与传感配置,并给出初步可用性反馈。

  13. arXiv cs.RO60

    DrawSplat:Atlanta World引导的隐式高斯SLAM用于室内重建

    DrawSplat 提出一种 Atlanta World 引导的隐式高斯 SLAM 框架,用于室内重建。该方法先通过点线联合跟踪估计相机位姿、稀疏几何与重力方向,再借助 Atlanta World 先验的共享重力分量从跟踪线推断结构平面,并将其转为对高斯中心与法向的可微正则项。框架还结合基于锚点的隐式神经高斯表示与自适应结构采样,在多个数据集上实现稳健跟踪、高保真渲染与几何一致重建。

  14. arXiv cs.RO61

    FOCUS:用最优传输监督的仅观测模仿学习一阶控制方法

    FOCUS 提出将局部最优传输对齐与短时域可微 actor-critic 学习结合,用于仅观测模仿学习,无需时间对齐的专家轨迹或专家对齐初始化。该方法用软 best-of-K 目标把智能体 rollout 窗口匹配到多个采样的专家片段,由传输代价给出可微模仿奖励,并用学习到的 critic 在 rollout 时域之外自举价值。

  15. arXiv cs.RO67

    MotorSense 发布首个大规模自我中心视频与肌电配对数据集

    MotorSense 是首个大规模自我中心视频与表面肌电(EMG)配对数据集,包含 100 小时无脚本操作中的同步视频、双臂 EMG、IMU 和音频。研究利用该数据做视频与 EMG 跨模态预训练,学习视觉与运动空间共享的动作组织,并迁移到动作识别、3D 手部重建和 3D 接触重建等任务。在四类动作相关视觉任务和八个视频数据集上,这种感知运动对齐的表征均优于传统视频自监督方法。

  16. arXiv cs.RO62

    Nexus-VLA:用共享分层语义隐空间连接人类与机器人经验

    作者提出 Nexus-VLA 混合策略学习框架,通过端到端人机联合训练实现跨本体知识迁移,让人类操作经验直接参与机器人策略学习。该框架先建立从任务意图到细粒度交互的分层跨本体语义对齐,再把多级共享知识编码为共享操作隐表示,直接用于连续动作生成。在 RoboCasa-GR1、OOD 设置和真实机器人实验中,Nexus-VLA 在 RoboCasa-GR1 上取得 80.5% 的任务成功率。

  17. arXiv cs.RO58

    悬垂织物机器人操作面:建模、设计空间与多模块扩展

    该论文提出悬垂织物机器人操作面(RMS)的可分离悬链线模型,可快速计算给定执行器高度下的表面形状,以及达到期望局部斜率所需的执行器高度。闭式逆解让简单 PID 控制器即可在织物面上定位物体,模型还把织物长度、模块跨度和执行器行程与可达工作空间关联,给出最小织物长度下界和设计图表。

  18. arXiv cs.RO80

    Movens-Zero:用大规模人类视频扩展人形运动基础模型

    研究团队提出 Movens-Zero 可扩展的理解-生成-执行架构,支持文本、语音、音乐和视频输入下的实时闭环人形运动生成。其配套数据集 Movens-5M 从互联网视频经片段生成、质量过滤、语义标注、运动恢复与人形重定向物理精炼构建,含 1500 万条人类运动序列和 500 万条可物理执行的人形运动序列,总时长超 1 万小时。

    推荐理由:该技术报告给出从互联网视频构建人形运动数据集并训练统一理解-生成-执行模型的完整路径,可供参考数据规模与架构设计。

  19. arXiv cs.RO80

    SimuGuard:审计 LIBERO、RoboTwin 等仿真基准中的接触伪影

    作者提出 SimuGuard,一个面向 LIBERO、RoboTwin、RoboCasa 和 RoboDojo 的审计插件,用于识别仿真器而非策略导致的失败。在 RoboTwin 上,作者将这类失败追溯到物理引擎的碰撞检测:几何相距 1 至 2 厘米时引擎报告约 2 厘米穿透,求解器以数米每秒把物体弹出,原因是距离算法丢弃了低于固定面积阈值的三角形。

    推荐理由:原文把仿真基准中的失败追溯到物理引擎碰撞检测常量,并给出修复前后的成功率对比,可供做仿真评测的团队参考。

  20. arXiv cs.RO38

    将低推力转移动力学集成到POMDP规划中的在轨服务任务规划

    研究把低推力(LT)轨道转移建模进部分可观测马尔可夫决策过程(POMDP),用于在轨服务(OOS)任务规划,状态空间加入服务航天器剩余推进剂以支持质量更新。高推力转移用预计算转移矩阵建模,低推力转移用解析GEO相位模型表示,并按给定转移时长备选方案计算推进剂消耗与机动可行性。在简化OOS场景中用SARSOP求解并比较高推力与低推力策略,定量评估低推力方案的可行性与运行影响。

  21. arXiv cs.RO58

    面向差速轮式机器人的视觉-惯性-编码器 RGB-D SLAM

    研究提出编码器的生成式测量模型,并推导最大后验估计表达式与优化所需雅可比,构建了紧耦合的视觉-惯性-编码器 RGB-D SLAM 系统。在自建数据集上,该系统实时状态估计的均方根误差约为 2-7 cm,用于弥补纯视觉方案在特征点暂时缺失和快速运动时的失效。源码和含编码器信息的数据集已公开。

  22. arXiv cs.RO60

    面向城市水道自主水面船舶的交互感知采样运动规划

    作者提出一种基于模型预测路径积分控制的分散式运动规划器,同时计算自船轨迹和其他船舶的轨迹预测,并把交通规则编码为不连续代价,无需平滑近似。在取自阿姆斯特丹运河真实河段的地图中,780 次随机运行均无碰撞、无死锁到达目标,优于同领域优化规划器及不考虑交互的版本。两艘缩比船原型在户外以 10 Hz 机载规划与定位,完成对遇和交叉相遇且未违规。

  23. arXiv cs.RO78

    ∇Mimic:用可微仿真实现高效人形机器人全身控制

    作者提出 ∇Mimic,用可微仿真器的精确梯度训练人形机器人全身运动跟踪策略,在单张 GPU 上 20 分钟达到 0.82 分、1.8 小时达到 0.874 分,而世界模型方法达到 0.82 需 1.2 小时。

    推荐理由:论文给出可微仿真下精确梯度训练人形策略的完整方案,并开源引擎与代码,便于对比一阶与零阶方法的效率差异。

  24. arXiv cs.RO56

    TaSP-KKT:基于流形 ODE 的几何感知人形机器人动作重定向

    研究提出 TaSP-KKT,把 OmniRetarget 逐帧 KKT 条件的连续时间极限建模为机器人构型流形上的 ODE,并用前向离散实现动作重定向。该方法每步只需一次加权切锥投影和闭式流形更新,避免重复的内层 SQP 迭代,数值实验中重定向质量与 OmniRetarget 相当但略低,运行速度约为其两倍。

  25. arXiv cs.RO62

    HandMimicX:从自我中心视频学习以物体为中心的灵巧操作策略

    HandMimicX 提出以物体为中心的框架,从自我中心人类 RGB-D 视频中学习灵巧操作技能。该方法把强化学习目标定义为物体运动,使技能与具体手部轨迹解耦,并对抓取与操作中的手物交互状态施加约束,以得到更符合解剖结构的手部构型。仿真与真机实验显示,该方法能从人类视频高效学习,并在新的空间构型下迁移技能。

  26. arXiv cs.RO67

    Hourglass:用本体无关世界模型耦合可微自运动实现跨本体运动规划

    论文提出 Hourglass 架构,将跨本体运动规划拆分为本体无关的世界模型与各机器人可微的自运动模板,两者仅通过相机自运动接口耦合。在五种运动类型的七台仿真机器人上,该通用策略成功率比同一世界模型上的模仿学习和扩散策略基线高 3.8–10.6 个百分点,无需专门训练即可匹配各机器人专用策略,并接近参数条件 MPPI 教师 1.4–2.8 个百分点。