SUGARv2:从合成交互参考学习多样化视觉人形机器人移动操作技能
SUGARv2 提出一个统一框架,通过交互参考合成和共享训练流程学习多样化视觉人形机器人移动操作技能。该方法把可复用任务模板适配到不同空间配置以低成本合成机器人与物体协同运动参考,并以基于参考的模仿作为跨任务共同学习目标,先训练特权教师再经教师蒸馏和强化学习训练视觉策略。
SUGARv2 提出一个统一框架,通过交互参考合成和共享训练流程学习多样化视觉人形机器人移动操作技能。该方法把可复用任务模板适配到不同空间配置以低成本合成机器人与物体协同运动参考,并以基于参考的模仿作为跨任务共同学习目标,先训练特权教师再经教师蒸馏和强化学习训练视觉策略。
研究提出规划器验证的反事实(CF)测试:固定抓取位姿,在接近通道中插入实体障碍并把其点加入模型输入,由规划器重新判定标签从可行翻为不可行。在覆盖点云、体素、深度和物体 token 的八个预测器上,CF 配对 AUROC 从自然场景的 0.920-0.996 降至接近随机(0.470-0.504),且该翻转在四种规划器、两种机械臂和真实物体障碍下均成立。
作者提出具身多智能体框架 A2-MEAS,以代码作为扩展接口,将纠错语言、空间证据、执行历史与动作建议组合成纠错代码,训练时由 MetaBrain 提供监督与运行时引导。
推荐理由:该框架以代码作为扩展接口,把纠错语言与执行历史注入策略,并给出跨基准与实机任务的量化对比。
论文将LiDAR-惯性里程计与BIM融合中扫描与模型不一致的归因问题形式化为三类故障识别,并推导出判断归因是否可行的几何判据。基于该判据的方法在可检测但不可归因的二维案例中条件错误率为0.83%,而采用不确定性弃权的基线为31.67%;在5,600个可归因案例中给出5,574次唯一归因且无错误归因。
DobotTrack 提出目标锚定的视觉-语言-动作(VLA)框架,用于语言引导的具身人员跟随,在 EVT-Bench 上以 0.8B 参数模型取得 77.9% 平均成功率,比 OmTrackVLA 高 16.9 个百分点。
ToolDex 是一个面向创造性物理工具使用的大规模人类演示数据集,记录人类选择、改造并重新利用身边物体作为工具的场景。数据采集使用同步的自我中心相机与八台外部视角相机,提供手、工具、目标物体及其可变形交互的多视角高保真观测与标注。作者还建立了覆盖物理工具使用推理、稀疏视角 3D 与 4D 重建、机器人策略学习三项核心能力的基准套件。
一项受控仿真研究覆盖九个操作任务、631 种实验配置和 28K 次编码智能体 rollout,系统改变模型能力、技能先验、反馈结构与课程设置。实验数据表明,瓶颈往往不是能否获得足够信息,而是如何把信息解读为正确的策略更新。自学习循环能否成功,取决于智能体能否有效归因失败、推理与任务相关的空间和几何结构,并有选择地重构代码以改进策略。
作者提出 RevoSim,一个面向 BrainCo Revo3 灵巧手的多模态触觉仿真器,联合建模 285 个压阻式触觉单元和 5 个视触觉指尖。该仿真器可同步生成压力、深度、RGB 与标记位移观测,在单张 RTX 5090 上其深度条件标记位移配置支持最多 4096 个并行环境。作者完全在仿真中训练了手内操作与抓取策略,为后续仿真到现实迁移打基础。
HOC2R 提出一种手物接触轨迹提取器,结合冻结的 DINOv3 与 SAM 2.1 特征和学习头完成手物关联与接触定位,用于从人类视频中提取机器人可用的运动线索。
作者提出基于Isaac Sim的HomeLoop仿真框架与基准,将机器人本体、联网设备与可穿戴设备、模拟住户、故障传感器和随时间演化的危险整合在同一环境中。基准包含5类共20个任务,同一警报可对应不同成因,运行时监控用时序逻辑对最终结果和过程动作打分,每个动作有预设代价。
研究提出一种联合镜头-检偏器标定方法,用八参数统一建模入射角相关的镜头透射率与检偏器增益和角度偏移,仅需一段手持户外天空光序列即可完成偏振标定,无需专用偏振标定设备或预设天空偏振模型。
Lodos 是一个从零设计的仿真框架,用新的宽相、窄相碰撞检测与接触动力学计算,专门处理精细网格间的网格-网格碰撞。作者称其物理保真度与现有成熟仿真器相当,在网格-网格碰撞场景下吞吐量约高一个数量级,源码已公开。该工作针对的是大规模并行刚体仿真中因用球、胶囊、圆柱、盒等基元近似碰撞几何而受限的接触密集场景。
Lodos-v2 是面向大规模并行刚体接触仿真的 GPU 框架,提出在原始形式下依次求解一串凸松弛、并置于外层近端最小化循环中的算法,以求解精确摩擦接触问题。它还把 Lodos-v1 的接触组重参数化方案扩展到锥互补接触动力学的原始形式,使其可与关节限位、焊接等完整仿真器约束整合。实验显示其吞吐量优于既有刚体仿真框架,源码已公开。
STRIDE 提出以跟随指令加速度曲线替代基座速度跟踪的强化学习奖励,只需机载 IMU 即可学习人形机器人运动。方法结合离策略算法 XQC、关节位置控制器高增益设置与左右对称增强,在仿真中让 Unitree G1 和 Booster T1 在 14 分钟样本内学会行走。相比缺少这两项组件的情况,训练中跌倒次数减少 81%,而后者需要一小时以上才能学会。
作者提出一种以物体为中心的强化学习框架,把每个零件视为一个智能体,学习共享策略来完成连续装配控制。图神经网络表示零件、目标位姿及其空间关系,并预测各部件平移与角速度;逐智能体PPO配合集中式图评论家,在单一反馈策略内学习运动与时间协调。研究在平面七巧板装配中验证,通过程序化生成目标构型与随机初始布局支持训练评估,并在仿真中演示并行装配、在真实机器人上迁移为顺序执行。
美团机器人团队发布 Meituan-Robotics-0(MR0),一个面向固定底座桌面操作的视觉-语言-动作基础模型与具身智能体系统,训练数据包含 1.47 亿视觉-语言样本和 15060 小时、覆盖 12 种本体的机器人轨迹。
作者提出Q-OIL,在强化学习中对干预转移加入乐观奖励并软性引导探索朝向人类纠正,在仿真和真实机器人上成功率比竞争基线高10-50%。研究先分析真人干预数据,发现人常在智能体进展停滞时介入且纠正动作往往次优,据此建立基于进展的人类干预模型,使仿真中的算法排序与真实用户排序相关性更高。作者指出解耦评论家对稳定性关键,可防止奖励回传到干预前状态,该方法还提升了两个双臂操作任务上的预训练VLA。
古月居“灵巧手实战”系列第19篇讲解用动捕手套教机器人,主题是遥操作数据怎样采集。材料仅提供标题与摘要,未给出具体设备、流程或数据指标。
针对多旋翼在持续风扰下的横滚姿态稳定问题,建立单轴横滚模型并以等效力矩模拟风扰,对比P、PD与PID控制器的峰值偏角、振荡和稳态误差。结合Python仿真分析扰动强度与执行器余量对响应的影响,为抗扰控制参数选择提供依据。
灵巧手实战系列第20篇讲解在 MuJoCo 中搭建单指仿真环境,并在此基础上理解 Isaac 仿真链。内容围绕单指环境的建立过程展开,用于对比 MuJoCo 与 Isaac 两条仿真链路的衔接方式。
苹果研究团队在arXiv发表论文《Perceptive Humanoid Motion from Simulation》,公开人形机器人自主控制系统HALO,并在宇树G1上验证。
同一新闻,精选展示《苹果公开 HALO 人形机器人研究:宇树 G1 背 Mac mini 跑千问,陌生家庭任务成功率 91%》
极客公园梳理了近期具身模型开放 API 的动向:10 月 Physical Intelligence 开放模型 API 测试,开发者可上传自有机器人数据微调并通过云端推理驱动机器人;同月 Dream Labs 推出按作业时长计费的 Dream API;11 月 3 日原力灵机升级 Dexmal MaaS,覆盖数据上传、训练与部署。
特斯拉在12月前后为Optimus安排了三个节点:12月3日股东大会、12月1—2日硅谷人形机器人峰会,以及马斯克在Q3电话会上承诺的“无预设视频”。作者认为这三个节点兑现的是“它能自己干活”的自主性叙事,而非对外销售的量产能力。
简智机器人(Genrobot.AI)发布 DAS Ego 2.0,这是一款用于第一人称采集人类动作与周围环境数据的设备,水平视场角 340°、垂直视场角 120°,手部追踪精度 4 mm,配备 6 个同步相机。该设备可与 DAS Dex 2.0 搭配,对齐视觉、手部运动与触觉信息,并将在 CoRL 2026 的 200 号展位提供上手体验。
个人开发者用 Python 为 Webots 仿真环境机器人搭建了离线语音控制“Cerebro”,支持西班牙语、英语和波兰语,可回答温度、湿度、空气质量与障碍物等仿真传感器数据。系统带安全锁,检测到危险状态会自停,并在被问“为什么停下”时说明原因。目前仅限仿真、无实体机器人,尚未销售,提供免费候补名单。
苹果研究团队在 arXiv 发布论文《Perceptive Humanoid Motion from Simulation》,推出人形机器人自主系统 HALO,并在宇树科技 G1 上完成实景验证,同时开源数据生成、训练与部署代码。
推荐理由:论文给出仿真合成数据零样本迁移到宇树 G1 的三层架构与分项成功率,可对照长链条任务的失败环节。
香港科技大学(广州)与欧拉万象等团队提出 SLA(空间—语言—动作模型),以 π0.5 为基础,在持续预训练和任务训练两个阶段加入三维空间监督。在目标移动测试中,SLA 完成抓取、双手交接和放置的成功率为 76%,π0.5 为 42%;八项真机测试平均成功率 83.8%,比 π0.5 高 24 个百分点。
推荐理由:SLA 在持续预训练阶段加入三维空间监督,数据规模对照显示其成功率提升幅度明显高于无监督对照。
深蓝AI梳理2023至2026年机器人强化学习的变化,指出优化器并未换代,PPO仍用于NVIDIA人形机器人运动策略和VLA后训练对照实验。文章从语言模型辅助奖励设计、仿真训练与真机迁移、VLA后训练三条线索展开,并比较直接RL、残差RL和世界模型内rollout三种路线,认为PPO的保守更新对应机器人采样贵、奖励脏、分布会漂的条件。
NASA 公布月球基地系列合同与任务更新,涉及商业机器人货运、核动力巡视器 PROMISE、发射与轨道转移服务以及月面基础设施。
人类灵巧数据的新篇章。 推出 DAS Dex 2.0。 同步捕捉精确运动与可靠触觉数据。 面向机器人学习的人类演示。 规模化灵巧能力。 欢迎在 CoRL 2026 现场体验——200 号展位。 #Robotics #EmbodiedAI #GenrobotAI #HumanData #CoRL2026
UBTECH 提出具身世界模型 Thinker-WM,将 RGB 视频、度量深度与机器人动作分别编码为统一隐空间中的 token,由共享的 Unified Dynamics Transfor 处理。材料仅提供摘要,未给出实验设置与结果。
VPP2 是一种基于视频预测的机器人控制框架,通过三阶段训练实现从语言指令到动作的映射。它先用完整事件数据增强视频模型对操作语义的理解,再通过固定时域蒸馏提升时间对齐与推理效率,最后结合动作专家完成从预测到动作的衔接。
USDCraft 面向机器人仿真中的关节物体重建,给定可能缺面、粘连的扫描网格和一张参考照片,由预训练语言模型编写资产程序,再经测量、编译、几何重检和渲染逐步修正。材料仅提供摘要,未展开具体实现细节与结果。
RSI-Anything 通过构建递归自我改进闭环,解决真实反馈稀缺下的高效学习难题。它将世界模型(如 JEPA-Anything)融入策略生成、预测评估与反馈分配流程,实现候选优先级排序与有限资源的精准分配。
清华等机构联合开源 SimpleNav,面向无人机与机器人导航的视觉-语言-动作(VLA)任务,解决数据、模型、训练与评测之间因坐标和动作协议不一致导致的适配难题。项目基于 LeRobot v3 构建。
灵巧手实战系列第15篇讲解如何用 URDF 描述手指结构并在 RViz 2 中可视化,以检查关节、惯量与坐标设置。内容面向灵巧手研发者,属于教程类文章,帮助在仿真环境中核对模型定义是否正确。
MuJoCo 3.17 为柔性体补上弯曲弹性与自碰撞,并新增批量并行接口。其离散弯曲模型与梁理论对拍偏差为 0.7% 至 7.4%,自碰撞峰值 50 对,批量加速 13.29 倍且逐位确定。
NaiveAI开源Naive-N0.5-Flash,用户只需写一页program.md任务书,即可让接入Claude Code的AI代理完成数据清洗、训练、评测与排错全流程。
清华大学等机构提出 ART(Agentic Robot with Tool-use)框架,可把任意端到端 VLA 模型微调成能即插即用调用外部工具的智能体。该方法用 3 万条工具调用轨迹和两段式 LoRA 微调,在 LIBERO 仿真与真实 Astribot S1 机器人上平均成功率分别约 75% 和 62%,较 OpenVLA、π0 等基线提升约 20%。
WorldFoundry 提出面向世界智能的开源基础设施,用于视频、3D 与 4D、具身动作和交互式世界系统的可复现推理与评测。该工作将生成式世界模型定义为维护持久、以历史为条件的状态表示,并能响应动作或干预、生成时间一致轨迹的预测动力系统。其目录收录 270 个模型条目、74 个基准和 62 个指标条目,并通过清单、产物契约和证据感知评分卡将执行就绪与评测结论分开记录。