Move-Then-Operate:将机器人操作解耦为移动与操作两阶段的VLA框架
Move-Then-Operate 是一个视觉-语言-动作(VLA)框架,把机器人操作显式解耦为粗略移动(move)和接触关键交互(operate)两个行为阶段,采用由可学习相位选择器路由的双专家策略。
Move-Then-Operate 是一个视觉-语言-动作(VLA)框架,把机器人操作显式解耦为粗略移动(move)和接触关键交互(operate)两个行为阶段,采用由可学习相位选择器路由的双专家策略。
WARPED 是一个从人类演示视频合成逼真腕视角观测与动作的框架,仅用单目 RGB 数据即可训练视觉运动策略。系统利用视觉基础模型初始化交互场景,通过手-物交互管线跟踪手与被操作物体并将轨迹重定向到机器人末端执行器,最后用 Gaussian Splatting 合成照片级腕视角观测直接训练策略。
Safe-Night VLA 是一个多模态操作框架,将长波红外热成像感知接入预训练视觉-语言骨干,使机器人能基于热力学属性进行语义推理,并通过控制屏障函数(control barrier functions)安全滤波器在策略执行时提供确定性的工作空间约束。
AFFORD2ACT(Affordance-Guided Keypoints to Act)研究仅用稀疏2D关键点作为输入时操作策略能保留多少能力:用现成的语言条件可供性模型定位任务相关区域,选出最多15个物体关键点加4个末端执行器关键点,把策略输入压缩到19个2D关键点(38个坐标),再用轻量门控决定执行时关注哪些关键点。
一项研究提出在视觉便携式管线中引入激光指示器,用于多物体场景下的目标消歧,以支持上肢假肢的抓取选择与预成形。该方法通过混合现实策略复用已有高质量分割掩码生成训练图像,并重新训练深度卷积神经网络。实验结果显示,目标消歧精度相比现有方案最高提升 9%,同时保持计算成本不变。
CW-WAM 是一个联合预测视频、运动与接触力矩的世界动作模型,受混合力位控制启发,用统一交互模块预测时间对齐的运动-力矩片段作为控制参考。它用成对因果注意力结构化运动与力矩依赖,并以定长力矩记忆保留历史交互信息;预测的力矩片段作为 20 Hz 外环导纳控制器的力参考。
论文提出AtomicRL,一种利用原子任务结构改进视觉-语言-动作(VLA)策略强化学习后训练的框架。其核心包括语义感知策略优化(SAPO),通过语义门控阻止失败原子子任务的TD残差跨任务传播以减轻信用污染;以及瓶颈自适应目标探索(BATE),依据各子任务掌握程度动态协调任务采样与局部探索激励。
研究提出一个统一的闭环操作评测框架,在LIBERO-10基准上评测前沿AI模型无需任务特定微调直接通过视觉观测、机器人本体感知和结构化工具调用控制机器人的能力。
DONIC 是首个跨操作类别与人体动作来源联合训练的通用双臂灵巧跟踪器,同时发布多视角数据集 BiHOI,含 1,575 段序列、覆盖 229 个物体,重建的交互被重定向为机器人参考。
SpatialDex 是一个从纯 RGB 人类视频学习 3D 接地双臂灵巧操作的框架,通过重建增强的视觉运动预训练,同时学习人类行为及其空间上下文。它从每段视频重建场景几何并估计手部运动,用 3D 手部估计的手尺寸先验在视频级尺度上对齐二者,并将重建几何同时作为策略输入和预测目标。
FlowVLA 将动作生成与物理完成估计分离,用共享的 π0.5 动作专家学习接近、倾倒与返回,并用目标无关估计器融合视觉、关节、腕部力矩与循环力信念历史来估计已转移质量,当估计值加预测残余流出量达到请求质量时触发返回。
论文提出SERA(Self-Evolving Robotic Agent),将高层VLM组织为带可编辑harness的机器人智能体,配合固定的VLA执行器完成低层控制,用于处理长程操作中的非马尔可夫依赖。
论文提出面向视觉-语言机器人操作的分层记忆框架 PAL(Plan first, Act Later),由高层视觉-语言模型(VLM)把流式视觉观测转换为 subtask_list,执行时再从中选出当前相关子任务交给底层视觉-语言-动作(VLA)策略。
论文提出 Relational Geometry Forcing(RGF),通过将冻结的 3D 基础模型的几何先验以成对特征关系对齐的方式注入世界动作模型(WAM),替代逐点特征对齐,避免密集几何目标过度约束紧凑动作特征导致的动作学习退化。
作者提出 TIDE(Training In DEployment),一种人机在环在线后训练系统,用来源条件监督学习框架从部署中的人类干预和策略 rollout 在线更新策略,不需要学习 critic、奖励模型或动作评分器。
作者提出 DepState-JEPA,一种双流 RGB-D 联合嵌入预测架构,通过共享隐状态 DepState 把空间理解与动作条件预测连接起来。该框架基于 V-JEPA 2.1,将深度同时作为互补观测流和度量三维空间的锚定依据,并用射线条件读出、物体轨迹监督与标定正运动学约束状态学习。
ACT-Flow 是一个在线学习框架,把自适应 Action Chunking Transformer(ACT)与条件残差流策略结合,让 ACT 通过行为克隆吸收成功执行的动作,残差目标相对更新后的先验重新计算。
PHD-Hand 是一款连杆驱动、单指具备3个驱动自由度(DOA)的人形灵巧手,采用独特的柔性铰链与弹簧钢弹性驱动杆简化传动,无需大量微型运动部件,可用预算级3D打印机制造,从而降低灵巧手使用与开发门槛并使尺寸更接近人手。原型已用于抓取与物体操作评估,论文同时给出该手的运动学与控制方面最新研究结果,已被 IEEE-RAS Humanoids 2026 接收。
COWBOY是一个用于学习上下文全身操作的可扩展sim-to-real框架,在全身灵巧抓取任务上零样本迁移到数百个物体和多种野外场景,包括杂乱桌面、货架、抽屉等非结构化环境。
T-WLA 是一个世界-语言-动作(World-Language-Action)架构,通过共享视觉记忆同时引导动作生成与触觉修正,以应对接触密集操作中接触条件先于视觉策略更新而变化的问题。
论文提出 DONIC,一个跨操作类别与人类动作来源联合训练的通用双臂灵巧跟踪器,并发布多视角数据集 BiHOI,含 1,575 段序列、覆盖 229 个物体,强调持续的双臂交互并将重建交互重定向为机器人参考。
⚡ UniPicker Pro:力量与灵巧兼备 从微小精细的物体到高要求的载荷,UniPicker Pro 为机器人抓取带来速度、精度和力量。 了解更多:https://www.unix-group.ai 联系我们:global@unix-group.ai #UniXAI #UniPickerPro #RoboticGripper
Echo 提出一种框架,把停止和失败两种任务状态信号作为每个动作块的两个维度,与机器人动作一起去噪,从而区分执行中、成功完成和失败三种状态。该方法无需帧级进度标注,通过构建成功、失败和恢复轨迹提供互补监督,并让状态信号比动作更快去噪,使后续动作去噪步骤能基于更干净的状态估计。真实操作实验显示,Echo 能准确预测任务状态并持续提升策略性能。
仙工智能(SEER Robotics)展示其机械臂在无人工干预下完成从取手柄、接粉、布粉、压粉、锁手柄、萃取到清洗的全流程咖啡制作,这是该公司迄今演示的最长多步骤机器人咖啡任务。
Everbot 第三代机器人在实机上零样本完成抓取纽扣并放入托盘,全程耗时 58 分钟(视频加速 175 倍),推理、识别与移动均在机载 Jetson Orin Nano Super 上运行,不依赖云端。
Brightpick CEO Jan Zizka解释了仓库机器人抓取失败时如何请求人工协助,并说明系统为意外情况设置了多层回退机制。他还讲述了在LogiMAT展会前约12–13小时收到Ocado取得的禁令,导致Brightpick无法在展会上演示Gridpicker,Zizka谈到了该禁令对发布活动造成的干扰。
作者开源了自己硕士论文期间设计的手部外骨骼 TAKTO ONE,CAD、PCB、固件全部免费下载,共 29 个零件。它可直接读取 12 个手指关节,用于采集手部数据训练机器人手或驱动机械手。作者还推出去掉电机的 TAKTO Lite 版本,因电机约占零件成本 85%,Lite 版约 164 欧元加电路板费用,并公开征集拇指模块设计。
一名Reddit用户设计了一条由12台KUKA delta机器人组成的饼干拾放产线,将饼干放入托盘,目前遇到抓取失败、碎屑油污和节拍过慢等问题。部分饼干因气流不足抓不起来,用户考虑加大抓取系统气缸直径;吸盘吸取时会带出碎屑和油污,改用类手型夹爪又会碰碎输送带上相邻的饼干。产线编程人员称托盘输送带与机器人速度需同步提升才能缩短放料等待,但用户认为该方案无法解决现有问题。
Agile Robots、奥迪、达索系统和英伟达在 NVIDIA GTC Berlin 宣布合作概念验证,在奥迪英戈尔施塔特工厂用移动人形机器人完成零件分拣与排序,供整车终装使用。
推荐理由:原文说明了虚拟孪生先于实机部署的验证流程,读者可了解人形机器人进入汽车物流的实际落地路径。
一个机器人项目在仿真中通过进化搜索与AI生成CAD,让机器人迭代设计并测试夹爪等工具以提升任务表现,机器人动作目前仍来自预定义任务控制器。下一步计划用Arctos机器人和3D打印机做实机验证,作者正寻求自动从打印平台取下夹爪手指的建议。
极智嘉以5000万元入股深诣机器人、持股20%三天后,成立刚满9个月的深诣机器人在2026工博会发布自研具身基础模型SE-1,以及聚焦重载物流的多任务具身操作机器人Sculptor和聚焦工业精细操作的双臂机器人Edge。
美国具身智能创企Eka Robotics宣布完成1.5亿美元A轮融资,投后估值约14.5亿美元,由a16z和F-Prime联合领投,Samsung Next等跟投。
我国柔性连续体机械臂相关专利数量不断增加,包括《一种折纸仿生双节段柔性连续体机械臂》《刚度可调的柔性连续体机械臂、刚度调节装置以及刚度调节方法》等,主要参与者包括万勋科技、擎羽科技、视源股份。
CondenseVLA 提出在 VLA 策略解码端加入可学习的历史压缩模块,用可学习查询和多头交叉注意力将 VLM 主干缓存的逐帧特征蒸馏为固定数量的槽位令牌,并用辅助正则惩罚槽位注意力图重叠、去相关槽位嵌入以减少冗余。
EMMA框架通过生成数据引擎与训练流程增强视觉-语言-动作(VLA)策略,缓解跨外观机器人操作数据采集成本高的问题。其核心组件DreamTransfer基于扩散Transformer,生成多视角一致且几何合理的操作视频,支持对前景、背景和光照做文本驱动编辑并保持三维结构。
ForeTac 是一个面向接触密集操作的预测性接触引导框架,采用表示-预测-评估-引导循环,编码当前触觉状态、按候选动作序列预测未来触觉隐轨迹,并用从成功与失败物理交互中学到的接触质量目标评估每条轨迹;推理时该目标的梯度反向传播穿过触觉预测器,在执行前引导动作生成,且所有模型参数保持冻结。
该论文提出一套端到端流程,用安装在标准腹腔镜器械杆上的器械状态记录仪(结合惯性传感器、飞行时间传感器和霍尔传感器,无需外部相机或追踪器)采集外科医生操作时的器械位姿与钳口状态,用于训练手术机器人策略并在活体动物上验证。
论文提出模块化方法,在接触密集任务的局部区段自主采集数据并用离线强化学习训练局部策略,再与传统运动规划集成完成长时程装配任务。在四个真实任务中仅用2-2.5小时自主采集数据,长时程任务平均成功率达96%,规划-only基线为55%,最强端到端基线为37%;局部策略还将施加力降低49%。在场景级分布外场景下性能保持在90%,共完成超过1500次真实评测rollout。
PAKE 提出一种全身移动操作控制框架,将问题分解为部分参考运动生成与底层模仿控制,引入在大规模运动生成数据集上训练的 Kinematic Normalizing Flow(KNF)模型生成多样的部分运动参考,高层控制器在 KNF 潜空间中导航以利用冗余解,低层控制器学习动力学一致的动作执行。
论文提出 KITE(Kinematic Interaction Transfer across Embodiments),将操作拆分为与本体无关的交互意图预测和与本体相关的运动学解码,两者通过基于接触模式的交互意图表征连接。