跳到正文
10月21日周三
  1. HuggingFace Daily Papers55

    OverSeer:用固定辅助视角提升多智能体世界模型一致性

    研究提出多智能体世界模型 OverSeer,在智能体第一视角之外加入固定在空间中的辅助相机视角,作为世界中心表征的代理,以提升时间与跨智能体一致性。辅助视角冗余且近似静态,可用只编码相对静态参考图变化的 delta-VAE 高效压缩,减少所需 token 数量。

  2. 机器人前瞻 · 微信公众号82

    英伟达开源机器人数据引擎Flora,标注成本约为GPT-6 Astra的1/125

    英伟达发布并开源数据引擎Flora,将原始机器人视频转化为带时间戳动作描述、过程奖励和结果奖励等训练数据,目前已用于训练GR00T系列模型。Flora由动作描述模型、时间分段模型和奖励模型组成,基于Qwen3.5系列视觉语言模型微调,依托512块GB300 GPU每天可标注20万小时数据。

    推荐理由:英伟达开源的数据引擎把机器人视频标注成本压到通用大模型的约1/125,并给出多项基准对比,可据此判断数据标注环节的替代空间。

  3. 36Kr Embodied Intelligence64

    英伟达升级Isaac机器人平台,推出人形机器人参考框架与仿真工具

    英伟达宣布升级Isaac通用机器人开发平台,推出新的人形机器人参考框架、仿真工作流及数据工具,旨在加速通用机器人开发。相关更新覆盖机器人训练、仿真验证和部署流程,帮助开发者利用合成数据和仿真环境训练机器人,并在实际部署前验证机器人行为。

  4. NVIDIA80

    NVIDIA 扩展 Isaac 平台,新增人形参考平台、Isaac OS 与 Isaac Lab 3.0

    NVIDIA 在 GTC Berlin 宣布扩展 Isaac 开源机器人开发平台,新增 Isaac OS 运行时、正式发布的 Isaac Lab 3.0 学习框架,以及基于 DGX Station 的开源参考工作流。

    推荐理由:原文列出 Isaac 平台新增的运行时、学习框架与开源工作流,读者可据此判断数据到部署链路的具体变化。

  5. 36Kr Embodied Intelligence58

    英伟达扩展开放模型产品线,推出Cosmos 3.5世界模型等多款模型

    英伟达宣布扩展开放模型产品线,推出Nemotron Retriever检索模型、Kumo结构化企业数据模型、Cosmos 3.5世界模型、Alpamayo 2 Edge自动驾驶模型、BioNeMo蛋白质设计模型及Ising量子计算模型等。其中BioNeMo RFD4-Proteina在一项涵盖200个氨基酸蛋白质的基准测试中,生成设计的速度约为RFdiffusion3的13倍。

  6. 古月居 · 微信公众号50

    ROS2 与 Gazebo 仿真:从 URDF 建模到差速控制与噪声注入

    该教程讲解如何用 ROS2 与 Gazebo 搭建机器人仿真环境,覆盖 URDF 建模、激光雷达与差速驱动插件配置、SDF 世界编辑及传感器噪声注入。文中强调 use_sim_time、TF 树与物理参数校准等常见坑点,并给出多机器人仿真、硬件在环与 CI 自动化测试等进阶方向,帮助开发者在仿真中验证 Nav2、SLAM 等算法后再迁移实机。

  7. 机器人产业应用 · 微信公众号66

    恺望数据携手舍弗勒推进工业具身数据合作,太仓数智工厂启用

    10月20日,舍弗勒具身智能机 器人数智工厂在江苏太仓正式启用,同期舍弗勒具身智能机器人(太仓)有限公司与恺望数据公布工业具身数据合作进展。双方围绕7大典型场景,采用真机遥操、UMI、EGO等设备完成试采、质检和标注,形成首批一千余条有效数据并投入具身工业垂直模型训练。

  8. arXiv cs.RO56

    EMMA框架用生成视觉模型提升VLA操作策略的视觉泛化能力

    EMMA框架通过生成数据引擎与训练流程增强视觉-语言-动作(VLA)策略,缓解跨外观机器人操作数据采集成本高的问题。其核心组件DreamTransfer基于扩散Transformer,生成多视角一致且几何合理的操作视频,支持对前景、背景和光照做文本驱动编辑并保持三维结构。

  9. arXiv cs.RO45

    Gibson Env:面向具身智能体的真实世界感知虚拟环境

    Gibson Virtual Environment 通过虚拟化真实空间为具身智能体提供感知训练环境,目前包含来自 572 栋完整建筑的 1400 多个楼层空间。其内置的 "Goggles" 合成机制可让训练后的模型直接部署到真实世界,无需额外的域适应。该环境使智能体受物理与空间约束,论文展示了在其中学习的样例感知任务,代码、数据集与项目网站已开放。

  10. arXiv cs.RO67

    不依赖机器人采集示教,学习双臂腹腔镜阑尾切除并在活体动物上验证

    该论文提出一套端到端流程,用安装在标准腹腔镜器械杆上的器械状态记录仪(结合惯性传感器、飞行时间传感器和霍尔传感器,无需外部相机或追踪器)采集外科医生操作时的器械位姿与钳口状态,用于训练手术机器人策略并在活体动物上验证。

  11. arXiv cs.RO58

    WorldScape Policy 2.0:以推理增强记忆与上下文学习实现可操控的世界动作建模

    论文提出 WorldScape Policy 2.0,一种带推理增强长短期记忆的可控世界动作模型(WAM)。其因果短期视觉记忆将近期观测作为 DiT 预填以保留局部交互动态,长期事件记忆则把历史 VLM 输出组织为全局历史、局部活跃与事件边界表示,用于进度感知检索并生成隐式子目标条件。

  12. arXiv cs.RO62

    自主数据采集与离线强化学习用于局部接触密集操作任务

    论文提出模块化方法,在接触密集任务的局部区段自主采集数据并用离线强化学习训练局部策略,再与传统运动规划集成完成长时程装配任务。在四个真实任务中仅用2-2.5小时自主采集数据,长时程任务平均成功率达96%,规划-only基线为55%,最强端到端基线为37%;局部策略还将施加力降低49%。在场景级分布外场景下性能保持在90%,共完成超过1500次真实评测rollout。

  13. arXiv cs.RO55

    Joints, Camera, Action! 面向任意骨架的3D动作与视频协同生成模型

    论文提出一个模型,可为任意给定骨架同时协同生成视频与3D动作,并生成将该动作配准到场景的相机。该模型将3D动作保留在独立模块中以支持任意骨架,通过少量交叉注意力层与预训练视频模型连接,并利用生成式视频编辑器整理出近200K训练对。评测显示其从文本驱动多样骨架动画比视频优先的流程更忠实,动作会响应周围场景,还支持视频转骨架动作、骨架动作转视频以及基于关键帧的3D动作控制。

  14. arXiv cs.RO55

    SynCalib:通过外参可控合成破解LiDAR-相机标定的数据集捷径问题

    论文提出SynCalib数据生成框架,针对基于深度学习的LiDAR-相机在线标定中训练数据外参多样性不足导致的过拟合与泛化差问题,利用带深度真值标注的全景图像数据集,在严格外参约束下合成多模态标定数据。实验表明该流程显著提升学习式标定网络的泛化性与鲁棒性,并在多种相机-LiDAR配置上完成真实世界评测,验证了仅用合成数据训练模型的零样本迁移能力;数据生成代码、预训练模型和在线基准数据集将公开。

  15. arXiv cs.RO57

    AdaDex:用混合灵巧模仿从单条轨迹学习可泛化的灵巧技能

    AdaDex 是一个目标条件强化学习框架,把几秒的人手-物体轨迹(来自动捕数据或野外 RGB(D) 视频的 HOI 重建)转化为可泛化的灵巧技能。其核心 Hybrid Dexterous Mimicking 在两组大规模并行环境中训练共享策略:带稠密动作跟踪目标的环境注入人体先验,带噪声初始状态与目标、稀疏物体成功奖励的环境迫使技能偏离参考轨迹也能工作。

  16. arXiv cs.RO62

    MARE:带阴影真值的开源月球车仿真器

    作者提出 MARE,一个基于 Unreal Engine 5 和 ROS 2 的开源月球车感知与自主仿真套件,包含地形生成、双物理月球车传感器仿真和 GNC 任务控制三部分。仿真器提供立体、激光雷达、事件和 SPAD 相机数据及像素级真值,低太阳高度角下预测阴影与渲染阴影的平均 IoU 为 0.79。立体深度分析显示阴影区域像素覆盖低于日照区域。

  17. arXiv cs.RO67

    Idealworks 与 NVIDIA 评测 COMPASS 导航的仿真到现实迁移

    Idealworks 与 NVIDIA 在工业移动机器人上系统评测 X-Mobility 与 COMPASS 学习式导航流程的仿真到现实迁移。在数字孪生中结合 Cosmos 生成的 sim-to-real 数据训练后,四个场景的实机成功率从 65.3% 提升到 91.7%,加权行驶时间接近减半,与产线导航栈相差 8.3 个百分点,且全部在机载 Jetson AGX Xavier 上运行。

  18. arXiv cs.RO57

    PointHand 用户研究:关键点手部渲染如何影响新手遥操作示教与扩散策略成功率

    论文提出 PointHand 遥操作界面,把多指机械手渲染为指尖与关节的稀疏关键点,与策略可观测的关键点一致。在仿真 mug-in-box 任务中,18 名新手与 4 名专家在三种渲染条件下共采集 2,200 次试验,其中看到拇指与食指强调渲染的新手在 600 次试验中获得 441 次成功示教,高于真实手形渲染的 320 次。

  19. arXiv cs.RO65

    头戴单相机替代腕部相机与位姿跟踪的免电子 UMI 手套方案

    论文提出用一个佩戴在采集者头部的单目相机(USD 122)替代 UMI 手套方案中的腕部相机、位姿跟踪器及其独立数据流,读取免电子手套(USD 22)上的印刷基准标记与工作区纸砖,从策略将看到的同一帧中给出 6-DoF 夹爪位姿和爪宽;部署时同一相机装在机器人旁的低成本(USD 120)机械臂上,依据机器人关节状态模仿采集者头部运动。

  20. arXiv cs.RO62

    EchoNav:用历史观测做证据式BEV补全的视觉导航

    EchoNav提出一种从短RGB序列预测证据式鸟瞰图(BEV)表示的视觉导航框架,结合时序聚合与占据补全,无需深度或相机位姿输入,也不做显式几何变换。该框架在仿真双目标顺序导航中成功率达89.6%,比最强基线高32.5个百分点;在20个场景的60次轮式机器人试验中成功率为73.3%,基线为33.3%。作者还在四足与人形机器人上做了额外演示。