AWARE:面向视觉-语言-动作模型的动作熵加权与注意力引导观测证据检索
作者提出 AWARE,一个免训练、即插即用的视觉-语言-动作模型(VLA)模块,通过逐元素动作熵追踪各层不确定性,并借助联想记忆查找把观测证据检索进前馈网络的键值记忆。
作者提出 AWARE,一个免训练、即插即用的视觉-语言-动作模型(VLA)模块,通过逐元素动作熵追踪各层不确定性,并借助联想记忆查找把观测证据检索进前馈网络的键值记忆。
作者提出BiDex-100,一个面向双臂灵巧操作的仿真基准,包含106个任务,按泛化、指令跟随、少示教、长时程和记忆五个能力维度组织。每个任务配有受控视觉与空间变化的域外变体,用于评估鲁棒性,并支持两种本体、提供8,080条经成功验证的遥操作示教,共625万帧。作者在统一协议下评测七个近期视觉-语言-动作模型,建立分能力性能、鲁棒性和数据效率的基线。
该研究将 VLA 模型与柔顺控制器结合,用 RGB 观测、时序编码触觉反馈和本体感知的人类演示微调模型,实现机器人到人的双手交接。在人类受试者研究中,该系统与无触觉反馈、有触觉但无柔顺控制两个基线对比,结果显示柔顺控制与触觉历史互补,性能明显优于基线。项目页面已公开。
研究团队提出用大规模灵巧抓取数据预训练分层模仿学习框架的低层控制器,再在下游任务示教上微调,以支持关节工具使用中的功能灵巧性。他们从大规模灵巧抓取标注构建了 355k 条轨迹的抓取预训练数据集,并推出包含六项关节工具使用任务的仿真基准 DexCraft。在仿真和实机实验中,该方法优于端到端扩散策略基线和从零训练的分层策略,实机全任务成功率比 DP3 高 33.3 个百分点。
研究团队提出 FTP-1,一个跨多种触觉传感器和本体预训练的通用基础触觉策略,用异构编码器把图像、阵列和状态类触觉信号映射为统一的形态感知隐 token,由共享触觉 Transformer 专家联合建模。
推荐理由:该工作把多种触觉信号统一到共享策略中,并给出跨传感器迁移的成功率变化,可供触觉操作研究参考。
作者提出力感知世界动作模型 FAWAM,在感知、预测和闭环执行三个层面引入力信息:先编码历史六轴力/力矩信号调制动作生成,再联合预测未来动作与末端执行器力旋量以显式建模接触演化,并用预测力旋量轨迹作为执行期参考、结合实时力反馈在线修正动作。在多个接触丰富任务的真实实验中,FAWAM 平均成功率比纯视觉基线高 36.25%,比现有力感知基线高 21.25%。
作者提出 GTP-FA,一个面向机器人操作的两阶段“先抓取后规划”框架:先生成抓取候选,再以选定抓取为条件做下游运动规划。该框架学习失败归因模型,对失败轨迹给出失败模式分布,并据此分别优化抓取评分与规划模块。仿真与实机实验显示,GTP-FA 在 RL、IL、扩散策略和 VLA 等基线上提升了整体任务成功率,论文已被 NeurIPS 2026 接收。
RePO-VLA提出恢复驱动的策略优化框架,把成功、恢复和失败轨迹赋予不同角色,用于长时序、接触密集的操作任务。该方法先用恢复感知初始化把纠正片段切成新回合,再学习进度感知语义价值函数,并用价值条件精炼让策略偏好高进度动作。
作者提出机器人智能体拆解平台 RAPID,集成龙门式工业机械臂、RGB-D 感知和自动拧螺母工具,在完整电动汽车电池包上完成紧固件拆除。开放词汇目标检测达到 0.9757 mAP50;三种一次性紧固件拆除策略中,示教位姿成功率 97%、耗时 24 分钟,一次性视觉执行成功率 57%、耗时 29 分钟,视觉伺服成功率 83%、耗时 36 分钟(n=204)。
作者提出一种语义-几何图任务表征,联合编码物体身份、物体间语义关系和每个物体的运动历史,由MPNN编码器与Transformer解码器组成,编码器只处理时序场景图,产出与动作标签解耦的结构化表征。
DreamTacVLA 提出一种将 VLA 模型建立在接触物理之上的框架,通过预测未来触觉信号来学习接触动力学。该模型采用分层感知,将高分辨率触觉图像作为微观视觉输入,与腕部相机局部视觉和第三人称宏观视觉结合,并用分层空间对齐(HSA)损失对齐触觉 token 与腕部、第三人称视图中的空间对应物。
研究团队提出面向 LEAP 灵巧手的在手中物体位姿到达训练配方,在仿真中无需人类数据训练,经系统辨识后零样本迁移到实机,可用动作捕捉或腕部单目深度相机。在 4 个物体、4,800 个未见目标、13.3 小时实机评测中,基于状态的策略在 2 cm 和 0.4 rad 内到达 95.2% 的目标;叠加可调保守度的学习残差安全过滤器后掉落减少 75%,仍到达 91.5% 的目标。
EgoThumb 是一个完全开源的视觉驱动附加机器人拇指,通过视觉模仿学习策略将掌心相机的第一视角图像直接映射为连续关节位置,实现自主抓取与持握辅助。其紧凑的双肌腱驱动手指把驱动单元移至前臂,以降低末端重量并支持精确的主动关节控制。作者称该设计可跨不同用户和环境泛化,硬件与软件均已开源,论文已被 IROS 接收。
作者提出约束参照策略(CRS),将策略指令的末端执行器旋量投影到物体关节轴上,把沿关节方向的进展与偏离约束的浪费分开。在74个仿真铰接物体上,二值成功率只显示迁移失败率更低却无法归因,CRS两个通道则给出各自不同的特征。
论文提出自适应残差修正(ARC),在冻结的模仿策略之上用强化学习学习残差修正,并用稀疏人类纠正决定何时启用残差控制、在残差动作空间的哪个方向探索。在真实机器人的三个精密操作任务上,ARC 将平均任务成功率从 33.3% 提升到 75.0%,人类纠正定义了七关节残差空间中 2-3 维的任务相关子空间,保留 96.0-97.7% 的纠正幅度平方。
StabBot 机器人对扣系统用摆锤卡尔曼滤波在立体图像中跟踪管接头,并以匹配速度靠近、通过触觉确认最后几毫米。在 200 组随机作业中,StabBot 全部完成对扣,传统固定导向器为 74%;中位接触速度从 18.4 cm/s 降至 2.3 cm/s,中位峰值头管力从 11.3 kN 降至 1.4 kN。
研究在仿真双臂工具使用任务上测量各传感通道能让诊断器判断出哪些失败原因:工具从插槽滑脱可在工具手一侧读出,哪只手延迟需双臂信息,单手机传感器只能读出本手延迟和另一手部分延迟,工具手延迟时无法从被动传感判断是否同时推力不足。
作者提出质量可控策略 QCP,可在推理时控制执行速度、运动平滑度等单项质量属性及其组合。为把可控质量范围扩展到初始示教之外,作者设计了迭代事后重标注循环:按目标质量标签采集在线 rollout,把成功轨迹加入数据集,再按实测质量对累积轨迹做事后重标注并微调策略。
论文提出自适应失败引导学习(AFIL)框架,利用预训练 VLA 在线生成失败轨迹,作为扩散与流式 VLA 策略的自适应负向引导,避免手工设计失败模式或人工介入恢复。该方法在共享视觉-语言主干上联合训练成功与失败两个动作生成器(DAG),采样时按每个扩散步上成功与失败分布的距离调节引导强度。在域内与域外、短时程与长时程的机器人操作任务上,AFIL 相比现有 VLA 基线提升了任务成功率与鲁棒性。
作者提出Retrieve to Act(R2A)测试时扩展框架,把成功示教组织成离线时空运动基元图,推理时用查询相关的图神经网络定位当前执行状态并检索结构兼容的未来运动基元,再通过逐维门控与冻结VLA的预测动作融合。
研究者在低成本 SO-101 机械臂上,用 12 到 200 条遥操作示教训练 ACT、Diffusion Policy、SmolVLA 和 π0.5 四种模仿学习策略,共评测 1340 个回合。
作者提出GAWM(Geometry-Aware World Model),一个在冻结DINOv3编码器潜在空间中预测未来观测的紧凑多任务世界-动作模型,参数量不足1亿且未做机器人或视频预训练。
论文提出用带符号摩擦距离衡量力空间中的摩擦裕度,并从双臂倾斜时平衡枢轴力矩偏差所需的力修正中推导任务自适应裕度。该方法把接触裕度嵌入一系列二阶锥规划(SOCP),在每个倾斜角度给出全局最优接触力解,使机器人接触力与枢轴接触力远离名义摩擦边界。实机实验在物体属性变化和模型失配下完成执行,固定裕度与无裕度对比显示按任务需求调整裕度的重要性。
ActiveAlign 提出用主动感知缩小 Real2Sim2Real 差距的框架,包含 ActiveAlign-Waving 和 ActiveAlign-Touching 两个模块。
研究团队提出Torch-Hand人形灵巧手,采用全连杆传动架构,具备21个自由度,其中拇指5自由度、其余四指各4自由度。该手将执行器集成于手掌并采用类串联机器人布置,使电机运动与关节运动学直接对应,兼顾抓取力与载荷能力。实验评估了可达工作空间、指尖协同轨迹、拇指对掌、33种抓取分类覆盖、抓取力、载荷与任务级操作。
该论文以打磨任务为案例,结合仿真与两台轻量无驱动轮式测试平台实验,刻画移动操作机器人非刚性底座效应。在底座与地面阻力较低时,100 N 指令仅实现 54-70%,工具中心点误差达 100 mm;接触过程中提高底座与地面阻力可改善力实现并阻止工具继续位移,而底座振动与力跟踪误差在测试条件下未呈现一致关系。研究由 Zongyuan Zhang 等人完成,已被 ACRA 2026 接收。
TOPS 提出面向任务的先验与调度方法,为每个任务调整流匹配的源先验和插值调度,且不修改网络架构。在 LIBERO-10 上,单步推理把成功率从标准流匹配十步的 53.44% 提升到 69.67%,推理时间约为基线的六分之一。方法在 LIBERO、LIBERO-Plus、CALVIN 以及迁移到 π0.5 策略时均取得提升,实机上层抽屉开启任务成功率从 20% 升至 80%。
RoboSTD 是一种面向双臂机器人学习的零样本单臂到双臂数据构造方法,通过对观测、本体感知和动作做矢状面镜像生成可执行的对侧伪示教,再用 LLM 生成结构化时空协调约束,指导跨工作空间区域和任务阶段的伪双臂监督重建。研究在 AgileX ALOHA 平台的 RoboTwin 仿真和真实环境中评估,无需额外双臂示教,在收集杯子任务中收集到的杯子平均数量达到单臂基线的 2.11 倍。
OpenJaws 是一个完全开源的传感器化 UMI 软硬件框架,用模块化 3D 打印夹爪搭配低成本双目相机恢复米制相机轨迹,以改善手持示教中的动作标签定位精度。作者同时提出 UMI-Loc-Bench-v1 基准,用于量化手持采集设备的真实定位精度,并显示双目定位明显优于单目方案。用 OpenJaws 采集的数据训练出的策略已在真实机器人上跨多个任务部署,硬件、软件和数据以商业友好许可发布。
CARD 是一个无需仿真器和物体模型的框架,通过显式保留接触力目标,将人类演示重定向为机器人动作,并统一处理视频、动捕和触觉手套数据。在视频、手套、动捕数据及 GRAB 数据集上,CARD 在 43%–78% 的接触帧上保持接触,而纯运动学和物体感知重定向方法分别低于 10% 和 22.5%。
RoboAuto 提出一种机器人程序搜索框架,从物体、场景和交互三个层级组织物理理解,用于指导 LLM 智能体生成和修正操作程序。该方法在五个基准系列上取得更优表现,在短程 LIBERO-PRO 任务上成功率达 89.1%,在 LIBERO-PRO Long 和 LIBERO-Plus 上的平均成功率超过 ASPIRE 的两倍。
作者提出 HIDRA,一种用于无回放、单遍终身模仿学习的分层双注意力路由框架,将指令级专家检索与上下文相关细化解耦。该方法引入键级几何正则化,约束任务内对齐与任务间分离,以缓解表示漂移下的路由干扰。在 LIBERO 多个基准套件(含异构任务序列与改写语言指令变体)上,HIDRA 在 AUC 和前向迁移上优于无回放与回放基线,并保持较低遗忘,代码已公开。
研究提出将 PPO 扩展为阶段条件策略优化,用阶段条件评论家、阶段门控奖励和多阶段重置课程训练单一策略完成长时程移动操作任务。方法采用解耦分层控制架构,将底层平衡动力学与高层阶段执行分离,并在 Unitree G1 和加装机械臂的 Boston Dynamics Spot 实机上验证多阶段技能,同时通过消融实验检验设计选择。
cuArms 是一个与 GPU 并行协同设计的冲突式规划器,用可复用的多模态 roadmap 分解搜索空间,并通过惰性搜索解决冲突与死锁。它接入高层调度器,联合优化任务分配、调度、运动与操作技能,实验报告了实时初始解以及运动质量和调度上的 anytime 改进,且无需学习方法的领域训练。作者称其在仿真与真实工业任务上均给出演示视频。
逐际动力与 ZINOVA 将 TRON 2 双臂具身机器人躯干模块安装在大型六轴工业机械臂末端,在重工建筑工地完成模板框架拼装与钢筋绑扎作业。文章指出双足机器人单次续航仅一到两小时、大半电量用于维持平衡,且接触面小难以承受钉枪等工具的反冲力。该方案由工业臂承担承重与抗冲击,TRON 2 双臂通过视觉识别现成工业钉枪并规划夹持与扳机动作,力觉传感器感知接触振动与阻力,两台机器人可协同对齐木料并击发。
德马科技将于11月6-7日在湖州德马科创总部举办GPC 2026全球合作伙伴大会,现场实景演示四大经内部POC验证的仓储岗位方案,包括交叉带分拣机智能供包、飞梭智能分拣机器人供包、产线线边搬运和仓库拆码垛搬运,人形机器人与分拣主机、输送机、货架托盘联动作业。
研究者提出 SO-101 Bench,这是基于真实 SO-101 装置 Isaac Lab 数字孪生的语言条件空间操作仿真基准,包含四类任务、138 个物体、916 个评测回合和 3,629 条仿真示教。
荭杏科技工业机器人大壮-Z6可执行箱子搬运、物品拿取等任务,探索具身智能在工业作业中的实际应用。其导览服务机器人小美-M9提供对话、导览与路线指引,桌面机器人Lumi通过对话与动作互动提供日常陪伴。三款产品分别面向工业作业、商业服务与日常互动场景。
一个仿真中的Franka Panda在PyBullet里用Stable-Baselines3的PPO学习抓起方块并放到目标垫上,项目目的是理解PyBullet及强化学习训练机器人的完整流程。后续计划加入文本或语音提示,让用户选择抓取哪个方块并放到指定位置,代码已在GitHub发布。
10月22日,MassRobotics 带领八家机器人初创企业参访 Analog Devices 位于圣何塞的 Emerging Tech Hub,涵盖触觉传感、智能材料与自主性等方向。