MIT CSAIL 与 CMU 提出 Workspace Models,让机器人以轻量记忆模块学习复杂技能
MIT CSAIL 与 CMU 提出 Workspace Models,用大视觉语言模型在离线阶段把长历史观测压缩为隐向量,并训练小型策略模型,使机械臂能在毫秒级内规划下一步动作。
推荐理由:该研究把大模型的离线推理蒸馏为轻量记忆模块,让机械臂在毫秒级内完成长时记忆推理,为机器人实时决策提供可迁移思路。
MIT CSAIL 与 CMU 提出 Workspace Models,用大视觉语言模型在离线阶段把长历史观测压缩为隐向量,并训练小型策略模型,使机械臂能在毫秒级内规划下一步动作。
推荐理由:该研究把大模型的离线推理蒸馏为轻量记忆模块,让机械臂在毫秒级内完成长时记忆推理,为机器人实时决策提供可迁移思路。
SWAM 研究世界动作模型在引入动作学习后如何维持语言-视频对齐,整理了约 47,000 小时通用视频、第一视角视频、UMI 演示和机器人演示数据,系统比较语言-视频监督、语言-视频-动作监督及两者联合使用的效果。
推荐理由:原文系统比较了语言-视频与动作监督的组合方式,并给出跨模态对齐在动作学习中的训练配方与实机泛化结果。
Dexmate 让 Codex(GPT-6 Astra)和 Claude Code(Opus 5.5)通过 MCP 工具控制 Vega 轮式双臂移动操作机器人,水果入篮和开门任务全部成功,精度更高的碗架任务在原始工具接口下无一成功。
推荐理由:Dexmate 用 Codex 和 Claude Code 实测机器人任务,量化了动作之外的时间开销与安全响应缺口。
研究提出学习增强机器人自动化(Learning-Augmented Robotic Automation)混合系统,将学习型任务控制器与神经三维安全监控器接入传统工业流程,在电机产线自动完成柔性线缆插入与焊接。每项任务仅用不到20分钟真实数据,系统在无物理围栏条件下连续运行5小时10分钟,生产108台电机,产品级质检通过率99.4%,节拍接近人工且循环时间波动更小,焊点质量与熟练操作员相当。
推荐理由:论文给出学习增强工业自动化在真实产线连续运行5小时10分钟、108台电机99.4%合格率的数据,可作为学习控制进入制造的落地参照。
论文提出智能体式操作策略(AMP),由通用 AI 模型直接控制机械臂并随任务推进调整动作,作者给出的参考实现 AMP1 在单臂、双臂和移动操作上无需改动即可运行。
推荐理由:论文给出通用 AI 模型直接控制机械臂的零样本成功率与实机试验数据,可与 VLA、WAM 专门策略对照。
香港科技大学(广州)与欧拉万象等团队提出 SLA(空间—语言—动作模型),以 π0.5 为基础,在持续预训练和任务训练两个阶段加入三维空间监督。在目标移动测试中,SLA 完成抓取、双手交接和放置的成功率为 76%,π0.5 为 42%;八项真机测试平均成功率 83.8%,比 π0.5 高 24 个百分点。
推荐理由:SLA 在持续预训练阶段加入三维空间监督,数据规模对照显示其成功率提升幅度明显高于无监督对照。
研究团队提出具身多智能体框架 A2-MEAS,以代码作为扩展接口,通过纠错编码结合纠错语言、空间证据、执行历史与动作提议,并由 MetaBrain 提供训练监督和运行时指导。
推荐理由:该框架以代码作为扩展接口,把纠错语言与执行历史注入策略,并给出多基准与实机对比数据。
AutoDex 是一个无需持续人工操作即可采集真实世界灵巧抓取数据的系统,可自动规划并执行抓取、标注结果并复位物体以持续采集。研究团队用 Allegro 和 Inspire 手在 100 个物体上采集了超过 3500 次抓取试验,记录成功与失败及同步视觉观测和机器人状态;采集 500 条轨迹约需 0.2 人工时,遥操作则为 9.3 人工时。
推荐理由:该研究给出自动采集灵巧抓取数据的闭环系统,并用人工工时与检索成功率对比遥操作和仿真筛选。
众擎机器人与北京大学研究团队联合发布论文PyRUA-REAL,在基础模型参数冻结的设置下,通过研究者与工程师两个编程智能体反复探索、诊断和改代码,把有效做法沉淀为技能与记忆。
推荐理由:论文给出基础模型冻结下靠经验库与双智能体迭代提升真机操作的具体路径和分阶段数据。
PyRUA-DataFarm 提出让编码智能体在仿真中重建任务,由视频模型渲染成真实可用数据,替代遥操作采集机器人演示。在五个真实机器人任务上,仅用该数据训练的策略取得 93/100 次成功,遥操作数据训练的策略为 84/100;在未见过的桌布和彩色光照下,前者保持 87 次成功,后者降至 46 次。
推荐理由:论文给出用编码智能体替代遥操作采集演示的完整流程与成本对比,可据此评估数据采集路线的替代空间。
RoboTryOn 提出把人类到机器人的转换视为虚拟试穿,保留演示动作、将人替换为参考图指定的目标机器人,并保持任务、物体和背景不变。方法自回归转换关键帧引导视频合成,运动以人手骨架为条件,再用融合深度特征的逆动力学模型(IDM)从合成视频推断动作标签用于策略学习。
推荐理由:提出用虚拟试穿思路把人类视频转成机器人演示,在无真机示教下把新任务成功率从2%提到60%。
Open-HumanScale 提出首个完全开放的第一视角人类视频预训练配方,将预训练规模扩展到 5 万小时,并配套发布带手部运动与自然语言密集标注的 Open-HumanScale-50K 语料。
推荐理由:材料给出5万小时第一视角人类视频的开放数据与训练配方,并报告数据时长与下游成功率的对数线性关系,可供具身预训练的数据规模决策参考。
灵初智能联合北京航空航天大学、北京大学、香港中文大学提出频率感知流匹配方法 FAFM,论文被 NeurIPS 2026 主会录用。该方法用离散余弦变换(DCT-II)把动作表示为对应真实时间的频域系数,在系数空间做流匹配并约束一阶时间导数,无需增加可学习参数,可独立使用或接入 π₀、π₀.₅ 等 VLA 模型。
推荐理由:论文给出不增加可学习参数的频域动作表示,可接入现有 VLA 模型,为异频数据联合训练提供可迁移思路。
北大-灵初联合实验室提出的 RoboFFT 被 CoRL2026 接收,这是一种面向生成式机器人策略的强化学习后训练方法,复用扩散模型和流模型预训练时的前向加噪过程构造近似概率比,用于 PPO 风格裁剪更新。
推荐理由:该方法复用扩散与流模型的前向加噪损失构造策略更新信号,为生成式策略后训练提供了一条可复用的思路。
研究团队发布 TacClaw-Infinity 大规模结构化视觉-触觉-语言-动作(VTLA)数据集,用于接触密集型操作,规模超过 10000 小时、100 万条 episode、10 亿帧,覆盖 1000 多种任务类型。
推荐理由:该数据集给出万小时级触觉操作数据的采集接口与质量控制流程,可供参考其跨本体迁移验证方式。
研究团队用五指机械手完成RJ45连接器抓取与插入,在约1700次实机试验中评估了覆盖七个策略族的281个模仿学习策略。受控消融显示观测与动作表征的影响超过常规优化器和采样选择,点云策略中感兴趣区域裁剪、机器人基座坐标系表示和点编码器内归一化各提升成功率70至100个百分点,视觉-语言-动作策略改用绝对动作预测后插入成功率最多提升70个百分点。
推荐理由:约1700次实机试验对比281个模仿学习策略,指出观测与动作表征比优化器和采样选择更能决定实机成功率。
Auriga 是一个任务无关的智能体外壳,在 RoboDojo 零样本操作上以 57.7% 成功率(64.0 Score)排名第一,将同一模型相对参考外壳的成绩提升一倍以上。
推荐理由:该技术报告给出任务无关智能体外壳在零样本操作上的量化结果,并对比了场景随机化下学习策略的退化幅度。
哥伦比亚大学李昀烛团队在IROS 2026介绍了开源柔性压阻式触觉传感器平台FlexiTac开源一年半后的进展,该传感器3分钟即可组装,可弯曲裁剪并包覆于手套、指尖或机器人皮肤。团队已将其集成进LeRobot,并改造UMI手持设备补上触觉记录,用于视觉-触觉同步数据采集与策略预训练。ADI正推进其商业化版本,触觉分辨率达到人类手指的五倍,基于半导体制造工艺量产。
推荐理由:从传感器设计、仿真标定到UMI数据采集,完整呈现了触觉感知规模化的技术路径。
RoboArchitect 让编码模型观察机器人 rollout、诊断失败并迭代修改冻结策略外围的智能体框架,在不更新任何模型权重的情况下把未见场景平均成功率从 9.7% 提升到 43.3%(4.5 倍),未见任务从 12.7% 提升到 40.2%(3.2 倍)。
推荐理由:在冻结策略外自动演化控制代码与持久记忆,为不微调权重提升操作成功率提供可迁移思路。
CMU 机器人研究所团队提出 Wiggle and Go 系统,让机器人先短暂抖动绳索或线缆,用俯拍摄像头记录波动传播,再由计算机视觉算法跟踪运动并估计其物理属性,据此规划后续动作,无需先反复试错。该模型完全在仿真中训练,再借助真实绳索抖动时的运动估计属性以提升实机预测精度。研究已被 2026 年机器人学习会议(CoRL)接收,下月在奥斯汀报告,部分由美国国家科学基金会资助。
推荐理由:该方法用一次抖动估计绳索物理属性,再据此规划动作,为柔性物体操作提供了可迁移的思路。