Diffusion Policy:基于动作扩散的机器人操作策略学习
这篇内容以 Push-T 桌面推动任务为载体,完整还原动作扩散策略的数学构造,涵盖余弦调度加噪、噪声预测训练目标、FiLM 条件注入与滑动窗口执行。作者还用公开预训练权重完成十种子的真实推理评估。
这篇内容以 Push-T 桌面推动任务为载体,完整还原动作扩散策略的数学构造,涵盖余弦调度加噪、噪声预测训练目标、FiLM 条件注入与滑动窗口执行。作者还用公开预训练权重完成十种子的真实推理评估。
InsertAnything 在 Isaac Lab 中评测力条件化插入策略的官方权重:0.1 毫米间隙下两种孔型基线成功率为 96~100%。手部起始偏移 5 毫米时成功率无损,但孔位观测偏差 3 毫米时六边孔成功率降至 60%。
HACMan++ 面向六维物体整理的长时序操作,把动作拆成选基元、在点云上锚定落点与连续参数三部分,并用逐点逐基元的评价量图统一决策。该框架据此实现推、抓、移、放的闭环衔接。
海康机器人基于过去两年项目实践,从分工、柔性、吞吐三个维度升级 STRP 箱式存拣方案,并推出 HAPS 智能拣选系统。STRP 双侧方案在巷道两侧货架布置轨道,T50 台数减少 30% 的情况下实现库容与任务完成率双提升;行业首创跨巷道 STU 以专用弧形轨道连通相邻巷道。
REEMAN 公布上海一家化学品航运企业的部署案例,Ironhide 自主叉车串联托盘取货、自动缠绕包装、电梯楼层转运和室内外配送,每趟约 600 公斤、往返约 650 米、单循环约 12 分钟、每天约 50 次循环。叉车通过工业接口与缠绕机交换工位就绪和缠绕完成状态,并与楼宇电梯控制系统协调请求、进入和驶出。调试中团队调整驱动轮下压力解决坡道打滑,并与缠绕机制造商协作修正托盘交接流程。
中国科学院自动化研究所程龙团队在IROS 2026发表研究,用触觉增强强化学习完成亚毫米级精密插入,在0.05毫米间隙下将成功率从无触觉方案的52%提升至67%。
影智XBOT宣布连续完成A轮2亿多元、B轮近4亿元融资,其咖啡机器人门店已在全球落地超1600家、累计制作500多万杯咖啡。该设备占地不到2平方米,内置咖啡机、制冰机、奶泡机和一支六轴机械臂,46秒出一杯咖啡,售价从四年前的七八十万元降至十几万元。创始人唐沐称2026年在手订单按3亿元计,近期单月交付超百台、营收超2000万元。
HeLM 是一个分层 VLA 框架,通过分解式事件检测和事件触发记忆更新,用显式语言保存任务相关历史,以解决现有 VLA 模型在马尔可夫假设下无法完成需要工作记忆的任务的问题。
临界点在10月29日AI DAY上宣布灵巧手累计量产突破1.5万台,并发布自研数采手套OmniGlove Pro。该手套采用EMF磁场定位与IMU融合方案,指尖定位精度0.1毫米,配置746个触觉感知点位,触觉空间分辨率3毫米,并提出从采集到真机回放的「真机 Ready」概念。
作者提出 MUSBRIC,一套面向可重构肌骨机器人的模块化硬件平台及配套 MuJoCo 仿真器,通过乐高兼容端盖把纤维增强伸长型气动人工肌肉变成可插拔复用的肌肉模块。肘关节原型验证了随载荷变化的屈伸,滑轮导向实现可逆运动,机械限位稳定伸直姿态;机械手展示柔性抓取与多关节搭建,15 种腿部构型在硬件与仿真中完成匹配扫描,四腿组装的四足机器人实现行走。硬件设计与仿真代码将开源。
LOGIV 是一个面向长程机器人任务的任务图框架,把符号规划、基于观测的校验和具身执行连接起来,并在执行中检查条件支撑与资源顺序边的物理有效性,失败后通过依赖追踪确定需要恢复的部分。
SimRetract 提出一种仅用仿真演示训练的策略,让机械臂从外科医生手中接过牵开器并在交接时保持牵开,实现开放手术中医生与机器人协作的零样本仿真到现实迁移。
研究团队发布 TacClaw-Infinity 大规模结构化视觉-触觉-语言-动作(VTLA)数据集,用于接触密集型操作,规模超过 10000 小时、100 万条 episode、10 亿帧,覆盖 1000 多种任务类型。
推荐理由:该数据集给出万小时级触觉操作数据的采集接口与质量控制流程,可供参考其跨本体迁移验证方式。
研究团队提出 I3L,一套结合全身纠正与迭代策略精炼的软硬件系统,用于缓解离线模仿学习策略在长程全身移动操作中的分布外退化。
UniCross 提出统一框架,将抓取、移动、手内旋转和手内平移四种灵巧操作技能建模为同一关系目标形式,并蒸馏出不依赖技能标识的单一策略。该策略在各单项技能上表现良好,可泛化到未见物体,并支持长程技能串联和执行训练中未出现的关系目标,框架也适用于不同手部形态。
作者提出 DR-LfD 框架,将视觉运动策略接入 TAMP 门控决策系统,按接触关系把人类示教拆成原子技能,再以视觉运动策略或物体中心基元复现并重组。该方法把示教数据需求从随技能序列指数增长转为随技能种类数增长,在 DexMimicGen 两个任务上以 100 条示教超过使用 1000 条示教的扩散模仿策略。论文已被 T-RO 接收。
作者提出 SPARK(Sequential Planning via Anchored Robotic Keypoints),把任务描述为符号化行为树,仅在每个动作被调用时锚定到当前 3D 观测,运行时验证计划并在局部失败时重新锚定物体,只有这一步失败才请求新计划。
NDPP-Grasp 提出把物理合理性约束直接注入任务对齐抓取扩散模型的去噪过程,即使约束不可微也能在生成全程施加引导。现有扩散方法先训练抓取扩散模型对齐任务,再在生成后做物理合理性修正,生成轨迹本身不受物理约束引导。该工作被 NeurIPS 2026 接收。
作者提出 TacO 框架,按操作策略表现系统评测触觉传感器,覆盖视觉、声学、磁性和电阻四种模态。研究在未知质量抓取放置、物体重定向和插孔三类任务上分别训练策略,分析空间分辨率、剪切感知、触觉表征和材料摩擦等传感器特性对任务表现的影响。结果显示触觉信息的价值取决于传感器模态、材料属性和具体操作任务,并非普遍有益;传感器、代码、数据与硬件方案将在项目网站公开。
FlowTouch 是一个视角无关的视觉-触觉预测模型,用物体局部三维网格编码信息来预测触觉图案,从而在未接触物体时也能获得触觉反馈。该方法结合场景重建与基于 Flow Matching 的图像生成模型,结果显示它能缩小仿真到现实的差距并泛化到新的传感器实例,生成的触觉图像还可用于下游抓取稳定性预测。代码、数据集和视频已公开。
作者提出 π-StepNFT,一种面向流式 VLA 的在线强化学习框架,把 SDE 采样中的转移作为监督单元,用方差归一化的转移误差区分正负速度分支,无需计算最终动作似然。
EquiContact 提出一种分层框架,由高层视觉规划器 Diff-EDF 和低层柔顺视觉运动策略 G-CompACT 组成,用于学习可跨任务构型空间泛化的接触丰富操作策略。
MotorSense 是首个大规模自我中心视频与表面肌电(EMG)配对数据集,包含 100 小时无脚本操作中的同步视频、双臂 EMG、IMU 和音频。研究利用该数据做视频与 EMG 跨模态预训练,学习视觉与运动空间共享的动作组织,并迁移到动作识别、3D 手部重建和 3D 接触重建等任务。在四类动作相关视觉任务和八个视频数据集上,这种感知运动对齐的表征均优于传统视频自监督方法。
RoboArchitect 让编码模型观察机器人 rollout、诊断失败并迭代修改冻结策略外围的智能体框架,在不更新任何模型权重的情况下把未见场景平均成功率从 9.7% 提升到 43.3%(4.5 倍),未见任务从 12.7% 提升到 40.2%(3.2 倍)。
该论文提出悬垂织物机器人操作面(RMS)的可分离悬链线模型,可快速计算给定执行器高度下的表面形状,以及达到期望局部斜率所需的执行器高度。闭式逆解让简单 PID 控制器即可在织物面上定位物体,模型还把织物长度、模块跨度和执行器行程与可达工作空间关联,给出最小织物长度下界和设计图表。
研究提出用语言条件行为克隆实现自主内窥镜引导,定义了6种临床相关引导行为并采集235条子任务演示。在初步体模实验中,单一视觉运动策略在聚焦、全景和停止上成功率为100%,搜索尖端和跟随尖端为80%,水平校准为50%。作者指出失败模式说明更复杂的引导任务需要引入时间上下文。
研究提出在冻结运动策略下在线学习闭环动力学的方法,用污染高斯模型区分可预测与不可预测响应,并结合高斯过程与随机傅里叶特征构建在线学习器,以降低异构观测带来的偏差。该方法与模型预测控制(MPC)结合后能更准确预测浮动基座运动,仿真与硬件实验中末端执行器跟踪误差为 0.01 m,并给出了在线学习的有限样本误差界。
SketchMate 让视觉语言模型为插入任务构建由少量几何基元和两个配合坐标系组成的草图模型,再由规划器与柔顺控制器执行。在 69 个仿真插入回合的严格运动学测试中,该方法以装配姿态插入 88% 的零件,而使用同一 VLM 的 ReKep 和 MOKA 均未插入成功。
ResMerge 提出两阶段框架,在冻结的预训练策略之上学习可合并的残差策略:残差强化学习在适配阶段无需额外专家示教即可获得任务特定修正,参数空间合并则整合兼容残差以减少存储参数。
作者提出 Direct Manifold Action Transformer(DMAT),把双臂动作生成重构为从随机插值中直接建模干净的、以观测为条件的关节空间动作块,实现单步推理,无需迭代去噪或轨迹拉直。
RTPolicy 是一种多视角视觉运动策略,通过视角感知特征融合与视觉压缩,把多相机信息聚合成紧凑 token 表示,并用流匹配动作生成器降低动作生成开销。在 RoboTwin 2.0 单任务 clean 评测的 50 项任务上,平均成功率为 52.26%,高于榜单最强基线 π0 的 46.4%。
BioAgent 是一个面向长程实验室协议的具身智能体,通过匹配人工审核需求与已验证技能、为缺失行为选择工具实现并按需请求人工示教来获取新技能。在第二个任务中,它原样复用 17 种技能、修改 2 个已有实现并新增 5 种技能类型;在两个分别含 20 和 31 次有序技能调用的双臂实验室任务上,完整任务成功率分别为 66% 和 58%,每个任务各运行 50 次并启用自主恢复。
HandMimicX 提出以物体为中心的框架,从自我中心人类 RGB-D 视频中学习灵巧操作技能。该方法把强化学习目标定义为物体运动,使技能与具体手部轨迹解耦,并对抓取与操作中的手物交互状态施加约束,以得到更符合解剖结构的手部构型。仿真与真机实验显示,该方法能从人类视频高效学习,并在新的空间构型下迁移技能。
作者提出 LEXP,一个通过上下文空间适配从物理经验中学习的框架,将任务级规划与经验模块结合,在模型权重和动作接口固定的情况下复用执行经验生成上下文反馈。在12项真实操作任务中,LEXP 取得 23/36 次成功(63.9%),仅用记忆为 19/36(52.8%),原始 ChatGPT-6-Astra 为 2/36(5.6%)。
TinyAstral 提出两阶段方法,先冻结开放权重教师模型并用递归自我改进(RSI)优化其 harness,再蒸馏出 4B 学生模型替换同一 harness 中的教师。在 RoboTwin 上,harness 进化把教师成功率从 33.4% 提升到 63.6%,最终 4B 学生达到 62.8%;在实测部署回合中,学生所用加速器时间约为教师五分之一。
作者提出 Contact Imitation Interface(CIMI)框架,用接触几何与指尖 RGB 视图构建无机器人人类示教接口,并通过接触对齐优先的重定向迁移到机器人手。
STAR 是一种面向预训练 VLA 的免训练推理方法,通过在后层残差更新上做指数移动平均,让后层动作表征继承前层的物体感知更新方向,无需模型更新或架构改动。该方法还用近期本体感知状态调节混合强度,在执行动态快速变化时采用更保守的混合。在机器人操作基准上,STAR 提升了后层物体感知能力,平均任务成功率提高 4.0 个百分点,代码已公开。
研究团队用五指机械手完成RJ45连接器抓取与插入,在约1700次实机试验中评估了覆盖七个策略族的281个模仿学习策略。受控消融显示观测与动作表征的影响超过常规优化器和采样选择,点云策略中感兴趣区域裁剪、机器人基座坐标系表示和点编码器内归一化各提升成功率70至100个百分点,视觉-语言-动作策略改用绝对动作预测后插入成功率最多提升70个百分点。
推荐理由:约1700次实机试验对比281个模仿学习策略,指出观测与动作表征比优化器和采样选择更能决定实机成功率。
CaPtain 提出一套开放后训练流程,把小型开放视觉语言模型(VLM)训练成代码即策略(CaP)机器人智能体,测试时不依赖 VLA、前沿模型或特权状态。流程先在 GPT-6 Astra 生成的合成轨迹上做监督微调,再用多轮强化学习,并引入读取仿真器特权状态的物理评论器为各次请求分配信用。
WorldBridge 提出一种世界动作模型(WAM),将视频专家与动作专家通过结构化注意力和联合流匹配连接,用于提升机器人在新任务上的泛化能力。在 RoboTwin 2.0 上,仅用分布内视频-动作监督时分布外任务成功率为 25.07%,加入无动作标签的任务视频后升至 55.90%,每任务再加一条带动作标签的示范后达到 70.70%。