ZeroDex:基于多视角3D接地VLM推理的零样本长程灵巧操作
ZeroDex是一个零样本长程灵巧操作框架,将语言指令从标定的多视角RGB图像接地为可执行的3D任务计划。它利用VLM已有的2D接地能力,通过多视角融合提升到操作所需的度量3D量(接触点、放置目标、工具运动锚点),执行由3D接地驱动而非学习策略,无需为特定任务或本体收集演示或后训练。
ZeroDex是一个零样本长程灵巧操作框架,将语言指令从标定的多视角RGB图像接地为可执行的3D任务计划。它利用VLM已有的2D接地能力,通过多视角融合提升到操作所需的度量3D量(接触点、放置目标、工具运动锚点),执行由3D接地驱动而非学习策略,无需为特定任务或本体收集演示或后训练。
研究者提出一套可解释性流程,用于分析微调后的视觉-语言-动作(VLA)策略内部在计算什么。在 pi0.5 上,把任务 A 的激活注入动作专家、同时让策略观看任务 B 场景,99.6% 的回合(n=1968)会执行任务 A 的运动轨迹,说明注入的程序绑定在绝对工作空间坐标上并忽略可见场景。
推荐理由:研究用激活注入拆解 VLA 策略的内部计算,为理解其扰动脆弱性提供了机制层面的解释。
AdaDex 是一个目标条件强化学习框架,把几秒的人手-物体轨迹(来自动捕数据或野外 RGB(D) 视频的 HOI 重建)转化为可泛化的灵巧技能。其核心 Hybrid Dexterous Mimicking 在两组大规模并行环境中训练共享策略:带稠密动作跟踪目标的环境注入人体先验,带噪声初始状态与目标、稀疏物体成功奖励的环境迫使技能偏离参考轨迹也能工作。
PhysCanvas 是一个面向接触密集型机器人操作的状态一致视觉触觉世界模型,将多视角 RGB、触觉图像、marker 位移、任务状态与动作统一到同一视觉空间,共享视频 VAE 与预训练生成骨干。
研究提出 GPT-as-Tactile-Policy,将专家演示总结为任务指导与触觉参考,让 GPT-6-Astra 结合多模态观测与交互历史生成控制指令并依据接触反馈调整动作。
论文提出 TaskWAM,一个闭环、阶段感知的框架,用 Mode Tokens 表示细粒度任务需求、用 State Tokens 跟踪执行进度,构成结构化任务状态来引导世界-动作模型生成符合当前任务的未来,以解决长程操作中的 Stage Confusion 现象。
论文用轻量智能体执行框架系统评测 GPT-6 Astra 的闭环机器人操作能力,发现其在 RoboDojo 上成功率 26.92%、RoboTwin 2.0 上 76.0%,但语义推理与物理执行之间存在明显落差。
论文提出一个两阶段框架,从多视角视频片段中学习互补的预测表征以增强具身操作策略。预训练阶段用冻结的3D基础模型提供稠密几何特征,压缩为预测几何表征并优化以保留场景结构及其时序演化,再对几何转变施加动作监督以提取强调动作相关转变的运动表征;下游后训练阶段通过几何查询迁移预测几何,运动表征引导动作生成路径上的中间特征,未来观测仅作为训练期特权监督,推理时不需要。
arXiv 论文提出 LocoPilot,一个部署在 12 自由度 Unitree Go2 四足机器人(搭载 6 自由度 AgileX Piper L 机械臂、Intel RealSense D435 腕部相机与 D405 头部相机)上的单操作员双边遥操作与数据采集框架。
论文提出 HuTact 框架,利用大规模人类手物交互(HOI)数据预训练触觉感知的手部表征,预训练阶段无需真实触觉信号,再用少量无标注机器人交互数据做适配。
EventSync 提出一种事件驱动记忆更新的分层框架,用于解决仅靠当前观测无法判断下一步动作的历史依赖型操作任务。视觉-语言模型依据任务计划与交互历史生成子目标,视觉-语言-动作模型负责执行,轻量级 Event Monitor 结合视觉观测与末端执行器轨迹判断当前子目标是否完成,只有取得完成证据后才写入已完成子目标历史并触发后续推理。
CoRL 2026 论文提出 Advantage-Weighted Latent Steering(AWLS),一种在不更新解码器的前提下改进冻结的一步式生成操作策略的离线后训练方法。
论文提出用一个佩戴在采集者头部的单目相机(USD 122)替代 UMI 手套方案中的腕部相机、位姿跟踪器及其独立数据流,读取免电子手套(USD 22)上的印刷基准标记与工作区纸砖,从策略将看到的同一帧中给出 6-DoF 夹爪位姿和爪宽;部署时同一相机装在机器人旁的低成本(USD 120)机械臂上,依据机器人关节状态模仿采集者头部运动。
论文提出 JARVIS,一个无需额外语言指令、方法无关的视觉手册引导自主执行基准,包含 236,679 个 LEGO 装配任务、8,987 个场景,以及精选的 JARVIS-v1 评测套件 50 个任务。
Tactile-ETA 系统通过上下文学习将触觉经验引入具身任务智能体,在不更新模型参数的情况下完成精细操作。在四个仿真操作任务中,相同两份专家示范加入触觉观测后平均成功率从 15.75% 提升到 24.00%;真实机器人任务上,视觉与触觉对齐的示范将成功率从 0% 提升到 60%。实验还显示性能依赖示范的感官内容与表示方式,不同智能体模型在 Lift Bottle 任务上差异明显。
HATCH 是一个开放规范、可物理复现、由传感器打分且不可排练的机器人操作基准,被 IROS 2026 第五届开放机器人软件研讨会接收(2 页 1 表)。任务覆盖五个技能类别、三个难度等级,并通过确认前一任务完成的传感器解锁下一任务,将整个房间串成一次长时程评测。
论文提出一个基于Boston Dynamics Spot四足机器人加机械臂的自主砌砖概念系统,在供料区与装配区之间作业,用AprilTag定位、autowalk任务导航,并将CAD软件中的目标砖块位姿直接导出给机器人执行。
EmbodyHOI 在冻结的流匹配手-物交互(HOI)轨迹生成器的采样循环内运行针对特定人形本体的可微逆运动学(IK)求解器,把本体可达性约束放进生成过程,而非事后重定向。
一项研究提出名为 score-decorrelation 的即插即用辅助损失,用于解决线性组合分数的扩散策略在多任务机器人学习中组件预测趋同、难以解释的问题。该损失通过惩罚组件噪声预测之间的重叠来鼓励专门化,几乎不改动架构、计算开销很小。在多个基准上的实验显示,该方法持续降低组件间的重复计数、改善任务分解,并在不影响多任务性能的前提下产生有行为意义的专门化。
DexGraspFlow 提出一种条件化连杆级 SE(3) 流匹配框架,用于跨本体灵巧抓取生成,将几何关系与运动学拓扑结合,用双流 DiT 建模连杆间协调与连杆-物体交互,并以运动学树距离导出的注意力偏置提供显式结构信息。
文章分析灵巧手行业为何集体降低自由度:厂商开始讲寿命、节拍和单价而非更像人手,一款美国头部机器人公司新手只剩四根手指、13个自由度,国内两款新品为22和20个自由度,而一年多前的标杆产品是38、37、42个。
智元与武汉文旅集团、中云微迅合作,将远征A3 Ultra全尺寸双足人形机器人落地汉口江滩“江遇”桥墩电影营地开展实景商业运营。截至10月19日,远征A3 Ultra已稳定运行18天,累计完成订单827单,整体抓取成功率超97%,本周末单日订单破百、抓取成功率100%。
一款 Grip Sensor 传感板让基础 PWM 舵机获得触觉,通过测量舵机电流估算夹持力,状态 LED 指示是否抓到物体,Teach 按钮可示教夹持力度,开漏状态输出可与现有 MCU 通信。视频演示中舵机夹住箱子、箱子掉落时板子检测到并通知 MCU,同时防止舵机夹得过紧而过热。作者目前做好了 5 块供测试,可通过私信索取。
自然意志(Nature Will)近日公开Natura-1模型演示视频,机械手在无人协助下完成包馄饨、打包快递、泡茶、手机贴膜和写毛笔字等操作。Natura-1是500亿参数的混合专家(MoE)模型,数据处理覆盖近100万小时第一视角人类交互数据,可在100毫秒控制回路中驱动20个自由度的灵巧手,并遵循复杂自然语言指令在未见场景中泛化。
Dream Labs 昨日发布 Dream-1,Reddit 用户在机械臂上实机部署后称其速度很快、可零样本执行任务,但也会出现随机行为,例如被要求移动苹果时却持续抓取红色方块。该模型已公开供人试玩。
Dream Labs 昨日发布 Dream-1,用户在机械臂上完成部署,称其速度很快且可零样本执行任务。实测中让其移动苹果时,它改抓红色方块且未停止,偶有随机行为。发布者已将 Dream-1 公开供人试玩。
仓储机器人公司 Exotec 宣布在日本完成两套 Skypod 系统的部署,合作方为食品分销商 Mitsubishi Shokuhin 和工业品分销商 Trusco Nakayama,项目与 IHI Logistics Industrial Systems 合作实施。
Eka Robotics 完成 1.5 亿美元 A 轮融资,Pieter Abbeel 转发并祝贺团队。被引用的帖子称,该公司以 Vision-Force-Action(VFA)模型同时追求操作性能与通用性,主张力是操作的语言、强化学习是灵巧操作规模化的路径、快速可靠的物理执行是待解瓶颈,并计划用这笔资金扩大模型规模、加快客户部署。
Xbotics具身智能实验室发布二十一讲第6讲,讲解机器人从RGB-D观测到抓取位姿的完整感知链路,配套代码位于GitHub仓库Xbotics-Embodied-AI-club/Xbotics-Embodied-AI-Handbook。
Plus One Robotics 在 PACK EXPO 2026 芝加哥展会现场演示 AI 视觉拆码垛与码垛单元,联合 Torfresma 的 TRF Compact 系统与 ABB 机器人组成模块化工作站。
PANVIS STAR®神经介入机器人在猪模型中完成脑血管造影及治疗通路建立、动脉瘤弹簧圈栓塞、血流导向装置置入、椎动脉支架成形及颈动脉支架植入五大类术式全流程验证,全部手术成功且无器械相关并发症与血管损伤,研究发表于《Journal of Robotic Surgery》。
一款6自由度机器人手基于开源 HRI Hand 设计改编,适配舵机驱动,采用刚性 PLA 结构与柔性 TPU 指尖以改善接触与抓握,面向机器人项目、教育与抓握实验。提供可编辑 STEP 文件与 3D 打印用 STL 文件,可在 Cults 平台获取,仅售数字文件,不含舵机、电子件与装配五金。
南洋理工大学团队采用松灵 PiPER-X 机械臂与智身科技铜锤 M1 四足机器人组成的系统,在 IROS 2026 LRC 足式机器人挑战赛中获得冠军与最佳自主能力奖,任务场景为局部危化标签识别。
RoboValue 提出一个细粒度的仿真与实机基准,用于统一评测机器人价值模型,通过共享接口评估任务状态理解、时序进展监控、失败与恢复推理、价值一致性四个互补能力维度。
文章分析了2026年机器人进入物流分拣场景的原因:分拣是眼下唯一同时具备订单、复购、数据且允许失败的场景,供包环节产生的真实数据可回流,回流率3%对人工2%的差距只是成本而非事故。
论文系统研究具身智能体物理递归自我改进(RSI)的机制、扩展行为与泛化,提出 PhysRSI-eval,用首次尝试表现、效率、成功率、预算和失败改进五个维度量化物理 RSI,在固定交互预算下评测多个 VLM 在 18 项操作任务上的表现。
研究团队提出 HandsOn,一个可组合的跨本体灵巧操作仿真平台与基准,支持 5 种机械臂、6 种灵巧手和约 200 个刚性、铰接与可变形资产。基准包含 18,000 条人工示教和 66 个人工校验任务,其中 Core-50 用于示教学习与执行测试,Transfer-16 在无目标任务示教的条件下评测资产与关系迁移、技能组合和可变形操作。
论文提出集体经验学习(CEL)范式,让已部署机器人共享执行经验以改进共同策略,无需额外采集专家演示或纠正动作。其通过失败引导经验检索微调(FERT)从机队共享的成功经验中检索相关轨迹段作为监督,并用容错异步训练系统(FATS)协调经验收集、策略优化与分发。
VLDA提出用紧凑Delta变量建模任务相关的状态转移,替代VLA的直接观测到动作映射与世界-动作模型的完整未来状态预测。其通过LT-Filter与GT-Anchor统一目标学习Delta,并由DDAR将其注入动作去噪过程作为结构化种子。实验在开源训练框架LoongForge中实现,表明VLDA提升了长程一致性、鲁棒性与泛化能力。
果力智能在2026工博会展出多款灵巧手及多场景应用方案,展会已圆满收官。现场通过双臂遥操作、零配件自主分拣、视觉手势识别三大演示,呈现感知、控制与执行的协同能力,吸引观众、行业专家及合作伙伴观摩交流。