DiscoDemo:用强化学习生成多样机器人示教数据提升模仿学习
DiscoDemo 将强化学习作为数据生成器,训练带特权信息的潜在条件生成器,通过并行逆向课程和成功门控的多样性目标发现多种成功解,再经安全过滤导出为静态数据集供下游视觉运动模仿学习使用。在四个操作任务上,该方法在仿真中把下游成功率从最强基线的 40% 提升到 62%,在真实机器人上从 39% 提升到 78%。作者认为成功解的多样性可改善预训练流匹配 VLA 的模仿学习,并与纠错数据采集互补。
DiscoDemo 将强化学习作为数据生成器,训练带特权信息的潜在条件生成器,通过并行逆向课程和成功门控的多样性目标发现多种成功解,再经安全过滤导出为静态数据集供下游视觉运动模仿学习使用。在四个操作任务上,该方法在仿真中把下游成功率从最强基线的 40% 提升到 62%,在真实机器人上从 39% 提升到 78%。作者认为成功解的多样性可改善预训练流匹配 VLA 的模仿学习,并与纠错数据采集互补。
HoloBoxing 提出一种基于预训练全身控制器学习人形机器人拳击的简单方法,将可复用的运动技能与任务决策分离:紧凑规划器输出未来身体点目标,冻结的控制器负责关节级执行。
RynnUnify 是一个 16B 统一具身模型,通过交错的视频-语言推理把具身理解与长程视觉规划结合起来,覆盖空间推理、物理预测与 grounding。作者还用强化学习做出智能体扩展,并推出 world-action 扩展把理解与预测能力转成机器人控制。
苏黎世联邦理工学院研究团队在 Nature Communications 发表研究,通过计算机仿真将小鼠骨骼肌组织与软水凝胶支架作为整体协同设计,制造出约1.5厘米长的生物驱动器,运动幅度最高可达同等肌肉量既有系统的11倍。
KAI Halo 案例 EgoWild2Dex 展示了如何从高难度的第一人称(egocentric)数据得到高质量双臂灵巧操作能力,项目页为 https://mmlab.hk/egowild2dex 。
推荐理由:材料给出了从第一人称人类数据到机器人双臂操作的完整训练路径与成功率,可迁移之处在于其数据利用思路。
研究者推出 FrontierCS 2 基准,包含 48 个开放性任务,做法是取一篇论文及其作者发布的代码、删去论文贡献部分,把删余代码作为人类参考基准。与只给问题描述并在运行后评一个程序的早期基准不同,FrontierCS 2 让智能体进入研究环境、继承可运行仓库并可随时提交补丁,评测器只返回开发套件分数,评估器、保留的最终套件和参考均保持私密。
Genrobot 发布并开源 Gen-HumanWholeBody,一个第一人称全身操作数据集,称具有业界最高精度,托管于 Hugging Face。数据集包含 600 小时全身操作数据、约 3 cm 全身 MPJPE、16,976 个真实场景和 1,281 项人类技能,面向全身动作学习、人到机器人迁移和具身基础模型研究开放。
推荐理由:原文给出了数据集的规模、精度和开放入口,读者可据此评估其对全身动作学习研究的可用性。
北京大学团队提出的DragMesh被International Journal of Computer Vision(IJCV)接收,可在已有3D资产上通过一次拖拽恢复目标部件的关节类型、轴和原点并生成完整关节运动轨迹。
论文提出 ToM2Vec,通过固定预算的连续推理 token 在隐空间中形成抽象的心智理论(ToM),训练时以伙伴的真实想法作为监督,测试时这些 token 作为智能体思考与行动的条件。
北京理工大学刘长猛教授团队首创微熔池非稳态脉动生长的单晶增材制造方法,首次实现米级钛合金单晶增材制造,成果于10月21日发表于《Nature》,论文题为Additive manufacturing ultralong and architected single crystals,通讯作者为刘长猛、清华大学崔一南和加州大学洛杉矶分校Yinmin Morris Wang。
推荐理由:论文给出了无籽晶单晶增材制造的机理与跨材料验证,读者可据此判断其对单晶构件制造门槛的影响。
CVSD-Reg是一种鲁棒的全局LiDAR配准框架,通过将冻结的DINOv2视觉语义先验蒸馏进Point Transformer V3学生网络,实现推理时完全无需相机的零样本跨传感器泛化。
香港大学、忆生科技和深圳河套学院研究人员提出 YOCO,一种面向三维关键点的少样本会话校准方法,用于灵巧手遥操作中的低成本动捕手套偏差校正,论文被 CoRL 2026 接收。
TaskAnchor 通过轻量适配器把执行历史接入 VLA 原有的语言和视觉接口,用于缓解长程操作中的任务状态混淆。它采用双路径设计:一个归一化的任务状态坐标描述语义执行阶段,一个基于上下文自适应测试时训练(CA-TTT)的视觉残差保留历史细节。
研究提出SERA(Self-Evolving Robotic Agent),通过可编辑的harness把高层VLM组织成机器人智能体,配合固定的VLA执行器提供低层控制。harness利用观测和执行反馈维护任务上下文,自演化机制通过环境rollout提出并评估harness修订,选定配置在留出测试前固定。在RoboMME上,SERA自主选择达到51.38%的总体成功率,而无自演化时为44.38%。
弗吉尼亚理工大学 Dawei Zhou 团队与 Meta 研究者在 NeurIPS 2026 论文提出 ReGDiff,用于生成符合几何约束的超材料体素结构。方法分两步:先用 RAS 机制把自编码器潜空间整理为好坏结构分得开、好结构铺得匀的形态,再用短程排斥 SRR 在采样时把潜变量推离已知样本近邻,且只在推理时生效。
论文提出 PAPAV,一个以能力为中心的统一框架,用感知、预判、规划、行动、验证五项功能刻画多模态具身智能体(MMEA),并据此对比多模态智能体(MMA)与机器人系统(RS)。跨 64 个基准的分析显示,显式评测集中于行动,仅 5 个评估预判、3 个评估验证。物理约束使错误更难逆转,PAPAV 为设计可靠物理智能体与衡量五项能力进展提供共同基础。
论文发现VLA动作生成与文本到图像生成不同,仅将训练时间步分布偏向噪声端点,就能在LIBERO、LIBERO-Plus、LIBERO-Pro及真实机器人任务上得到强一步策略;对不同架构的开源VLA模型,直接用单次前向传播替代迭代解码,在LIBERO、CALVIN和SimplerEnv上往往与原多步解码表现相当。
TrackDeform3D是一个仅用RGB-D相机即可负担得起且自主的可变形物体3D数据集采集框架,通过识别3D关键点并结合运动一致性约束鲁棒跟踪其轨迹,生成时间平滑、几何一致的数据。
该研究提出随机神经控制屏障函数(SNCBF)的可验证安全合成方法,针对平滑激活函数与ReLU两种情形,分别给出免验证合成框架和验证在环合成框架。方法在倒立摆、Darboux和独轮车模型三个案例上完成验证。
Cartender 提出 Counterfactual Branching,从真实行车记录中构造匹配与不匹配的指令-动作对而无需仿真器,用视觉-语言模型提出替代未来及其选择指令,不被场景支持的指令作为负样本。
论文提出名为 SSIO 的自监督惯性里程计训练方案,通过让短视教师在每个短窗口内独立积分 IMU 来监督学生模型,即积分自监督;学生虽只被短窗速度变化监督,却学会直接预测速度且比教师更准,随后用位姿图蒸馏以跨窗口一致目标进一步优化。
PaceVLA 提出一种 VLA 自适应时间执行框架,通过共享动作专家上的多粒度动作解码器与量化可行性引导的模式选择、上下文条件路由,在每个推理步决定是否采用粗粒度执行。实验覆盖三个多任务仿真基准与六项真实任务,在多种本体(含长时程与灵巧操作)上提升执行效率的同时保持任务成功率。
论文提出集体经验学习(CEL)范式,让部署中的机器人把自身执行经验汇总起来更新共享策略,再返回车队使用。其实现方式为失败引导经验检索微调(FERT),用失败上下文从成功轨迹中检索相关片段并优先用其记录动作做监督更新,无需额外专家演示或纠正动作;配套的容错异步训练系统(FATS)协调机器人执行、云端推理与策略优化。
推荐理由:论文提出用部署机器人自身执行经验替代专家纠正来迭代策略,并给出96台机器人规模下的实机操作结果。
论文提出 Vector-Quantized World Model(VQ-WM),一种隐空间反馈运动规划框架,将离散长程搜索与连续视觉反馈控制结合:离散隐状态预测器建模向量量化隐状态间的转移,供规划器远距离搜索最短路径,连续学习控制器再通过视觉反馈逐步到达规划状态以纠正偏差、缓解复合误差。
FoveaVLA 是一个用学习到的注视动作替代腕部相机的视觉-语言-动作(VLA)模型,在预测每个动作块的同时预测下一次策略查询需要观察的交互区域,并从原始分辨率图像中裁剪该区域与全景一起输入策略。
Lambda-humanoid Team 发布人形机器人全身移动操作基础模型 λ0,并推出 500 小时开放世界人类移动操作数据集 HumanVerse,将第一人称视频与同步的身体和手部动作配对。
FallGown 是一种由织物外壳内加力气囊构成的软体可穿戴支撑结构,可支撑使用者全部体重以预防跌倒,收纳后 6.9 kg、0.051 立方米,平均穿戴时间不到 2.5 分钟、脱下不到 0.5 分钟。单用户防跌倒测试显示设备尺寸与抗倾倒稳定性存在权衡,带底座、12 个气囊且裙底直径 1.4 米的配置除一次机械故障外阻止了全部跌倒;机载压力传感器可感知用户体重分布,为监测性锻炼和自适应支撑提供可能。
研究团队介绍RoboCap,一顶250克、配六相机与双IMU的头戴设备,用于野外第一人称数据采集,并配套设备无关的3D算法套件Grounded API。报告展示了硬件、标定与3D算法如何配合,在公开基准上取得当前最佳表现,涵盖多种场景与设备下的SLAM、第一人称深度估计,以及适配第三方设备后的手部跟踪。
论文提出通过视觉预测柔性 Fin Ray 夹爪的形变来实现力感知操作,部署时无需力或触觉传感器。方法训练两个模型:先用标定数据训练视觉力估计器为演示标注力估计,再训练动作-力提议策略联合生成候选动作及其对应力,测试时采样候选动作并执行预测力最接近演示目标的动作。该方法在采摘浆果、抓取空罐、手内重定向和插头插入四项任务上进行了评估。
PolyUMI 是一个开源的视觉-触觉-音频演示采集与机器人部署平台,其轻量无线手持夹爪可同步记录腕部相机、光学触觉、接触音频与本体感知观测,无需有线工作站,同一感知手指可迁移到机器人末端执行器以保持采集与策略执行的感知几何一致。
HarnessPAI 提出一个与模型和本体无关的物理 AI Harness 框架,把代码作为组织底层动作原语的可执行、可进化接口。框架区分两个时间尺度:单次 rollout 内以固定程序开环执行并检查,跨 rollout 则依据执行反馈闭环修订程序、把失败蒸馏为可复用技能。
论文提出BAS-VLA,一个构建在冻结基础VLA之上的任务语义动作校准框架,用于应对两类失败:任务语义不变但外观变化时策略产生不必要的动作漂移,以及目标物体或约束等关键语义被改变时策略仍沿用原轨迹。
论文提出 rMuscle,一个受人类肌肉记忆启发的实时视觉-语言-动作(VLA)模型推理框架。作者先对具身工作负载进行分析,发现机器人重复执行任务时在观测、动作轨迹乃至内部模型状态上都存在显著相似性。
该研究提出一种面向机器人超声目标平面探头引导的局部动作条件世界模型框架,采用两阶段基于模型的学习流程:先用潜空间条件扩散世界模型根据近期上下文帧、探头运动和时间偏移预测未来超声观测,再用目标条件时序 Transformer 预测有序探头动作,并用冻结世界模型给出的奖励进行微调。
论文发布 Hilti-Trimble-Oxford 数据集,采集自活跃施工现场,包含30条视觉惯性序列,覆盖10个楼层、跨度8个月,涵盖光照变化、移动工人、快速运动和重复结构等真实挑战。真值轨迹由刚性连接在360相机上的高精度激光惯性SLAM系统采集。作者还报告了配套开放研究挑战的结果,SLAM赛道有62支队伍参赛,而楼层平面定位仅22支,显示后者受关注较少。
ASPIRE(Agentic Skill Programming through Iterative Robot Exploration)是一个持续学习系统,以代码即策略范式自主编写并改进机器人控制程序,将经验沉淀为可复用技能库。
ReStruct 提出在推理阶段引导已学习机器人策略的方法,无需重新训练即可让策略满足训练时未预设的用户偏好。该方法把视觉运动策略分解为高层状态机骨架和低层残差控制器,通过同步积把偏好并入骨架以重构任务结构,控制器保持冻结。仿真与真实实验显示,ReStruct 可处理从物体级指定到时序逻辑约束的多种偏好,引导后在任务成功率和偏好遵循上超过现有方法,最高领先 VLA 模型 25%。
SafeDojo 提出一种基于模型的安全强化学习框架,通过世界模型想象来改进视觉-语言-动作(VLA)策略,避免了昂贵的真实世界探索或手工设计安全函数的依赖。该方法在交互式视频世界模型之上进行在线强化学习,用 ResNet 成功分类器为预测的未来帧打分,配合轻量级安全头从当前隐状态上下文和候选动作块预测每步接触概率,再通过拉格朗日约束的 GRPO 平衡任务执行与轨迹安全信号。
μ0 是一个基于3D轨迹的可扩展世界模型,不预测密集像素也不直接建模动作,而是预测物体、工具、手部和接触区域等显著交互点的平滑3D轨迹,形成与本体无关的紧凑运动接口。
仿真结果表明,该方法相比地形-语义重规划可将UGV累计暴露降低38%,多UAV协调方案将冗余空中覆盖从38.8%降至3.7%。该方法通过风险规避的共享暴露信念指导UGV路径规划,并以任务条件化奖励驱动UAV将感知聚焦于与暴露相关的不确定区域,UAV观测在线更新信念,UGV据此绕开新发现的威胁。多UAV场景采用区域条件化空间分配减少冗余感知。