人类纠正如何跨机器人传递:联邦 VLA 适配中的安全问题
针对联邦学习与 VLA 策略结合的前景,研究指出跨任务、环境、人员和机器人本体共享人类纠正适配时存在安全风险:提升平均任务成功率的共享更新可能压制罕见的安全干预,或在另一台机器人上产生不安全响应。
针对联邦学习与 VLA 策略结合的前景,研究指出跨任务、环境、人员和机器人本体共享人类纠正适配时存在安全风险:提升平均任务成功率的共享更新可能压制罕见的安全干预,或在另一台机器人上产生不安全响应。
研究提出动作感知量化方法,用视觉语言模型把长程操作轨迹拆成物体级子任务并分配加权动作信用,构建800小时以上训练视频数据集和含19618个人工校准评估帧的LOOM基准。
AWARE 是一个世界模型框架,仅依靠外部摄像头监测,通过系统动力学估计与状态预测实现异常检测,无需电机编码器等机载传感器。在 240 条真实机器人吊车轨迹(含载荷碰撞与电机退化)上,其异常分类比最强基线提升 26%;推断出的动力学参数还可解码定位故障来源,退化电机定位准确率达 88%。
研究评估条件神经过程(Conditional Neural Processes)能否自主学习对动作潜在目标有信息量的动作表征,发现隐空间加入注意力机制后,在动作序列观察早期即可形成稳健的目标表征。作者据此认为该模型有望作为机器人自监督通用学习器,成果以海报形式发表于 IROS2023 认知机器人学世界模型与预测编码研讨会。
论文提出一个自然语言策略接口,把操作员指令接入 ROS 2 Nav2:本地大语言模型将指令转成 JSON 策略,指定目的地、空间约束和时间或事件条件,再由确定性检查决定是否接受,并通过三个 costmap 适配器注入现有导航栈,不改变规划器与控制器。
作者提出 OWLS(开放世界语言条件速度场),直接在以视觉语言模型(VLM)的稠密特征图上规划:给定可通行地形描述后,VLM 为单张相机图像的每个像素打分,OWLS 将这些分数投影到地面,经两次形态学操作适配平台,再作为最小时间规划器的速度场,使地形外观与障碍间距共同塑造同一条轨迹。
UAV-SwarmAgent 是一个分层多智能体系统,操作员用一句自然语言下达任务,地面站智能体生成并执行代码,将其转化为每架无人机的航线。系统用视觉语言模型在空中地图上定位巡检目标,按路线长度均衡分配给 N 架无人机,再由搭载轻量决策模型的 worker 智能体核实事件。
作者提出HGWM,将大语言模型生成的房间锚点先验与持续空间语义记忆结合,用于零样本物体导航中的搜索方向选择。在HM3D v0.1上报告62.6%成功率和31.5% SPL,对比WMNav的58.1%和31.2%;在MP3D上为46.8%和17.9%,对比45.4%和17.2%。
Yonghyeon Lee 汇编并编辑的《机器人优化、最优控制与强化学习》讲义 v1 已在 arXiv 发布,强调三者的数学联系与实际应用。该讲义由人与 AI 协作撰写,属已有材料的整理而非新研究成果,目前为初步版本,尚无图表,后续计划修订与扩充。
该研究提出统一控制框架,将多机器人系统从受限于纯自组织的“专性集群”转向“兼性集群”——在条件宽松时以集中规划运行、在环境压力下平滑退化为去中心化集群的混合架构。作者主张把集群行为重新定义为一种动态能力而非固定的系统类别,从而在条件允许时利用集中式最优性、在不利时利用自组织的灵活性。
研究提出解剖锚定的模仿学习框架,将解剖引导的探头放置与学习式超声导航结合,在16名未见参与者上,肾脏、胆囊、肝脏标准切面采集和桡动脉扫查的任务成功率分别为96%、94%、88%和94%。
CoCarry 提出面向双人形协同搬运的数据集与接触支撑结构化重定向方法,数据集包含 21 种任务方案、5 种共享物体几何、4 种地形共 220 条同步双人序列,约 61 分钟运动数据。
作者提出 R²E,一个通过显式角色分工实现自动奖励函数设计的框架,用于缓解基于大语言模型的奖励设计中探索不足与优化不稳定的问题。框架包含负责扩展搜索空间的新颖性探索者、负责保守改进训练稳定性的守护者和通过交叉变异重组高性能奖励的进化者,并用动态调度策略让搜索从广泛探索逐步转向集中利用。R²E 还引入全局精英池保留表现最好的奖励以指导后续迭代,在多个机器人任务上的实验显示了该方法的有效性。
LogLook 提出一种执行日志式记忆,让前沿视觉-语言模型规划器记录已执行动作与先前笔记,并按预期变化选择性回看图像帧。在基准自带运动规划器下,它与仅用笔记的记忆成功率相当,token 减少 43%、图像用量不到一半,因记忆或观察失误导致的失败也明显更少;直接控制时在 RoboMME 测试集上解决 93.5%。
DynaSlots 是一个无需动作标签的三维视觉预训练框架,将每帧点云分解为少量时间一致的槽位,并在槽位级别而非场景级别建模动力学。它通过时间槽位传播模块保持跨帧槽位分配一致,用逆动力学模型从特征差异中提取每个槽位的潜在动作,再由基于扩散模型的前向动力学模型配合自监督交互头预测各槽位未来状态并学习成对邻近与运动关系。
MAST-VLA 提出双条件框架,在 LLM 主干中引入技能条件化 LoRA 混合专家适配器,并把预测的可供性热图转为动作头的 patch 级轨迹可供性空间先验。在 CALVIN ABC→D 长程多技能跨场景设置下,其五子任务序列平均完成长度达 4.65,取得该设置下的最优表现。实机多技能序列实验进一步验证了其在真实感知与控制噪声下的可部署性,论文已被 CoRL 2026 接收。
研究在独立 CPU MuJoCo 环境中测试 24 关节人形机器人的运动跟踪策略,发现 40 ms 恒定命令延迟使平均存活率从训练随机化下的至少 26/30 降至 15%,延迟裕度仅 20–30 ms。
研究团队在 Unitree Go2 四足机器人搭载 AgileX Piper 机械臂上部署 VLA 模型,实现闭环移动操作,并报告了模型变体、动作时域和示教约定等使实机部署可行的选择。针对抓取放置任务,扩大示教覆盖使留出集末端执行器误差降低 30%,加入推动等次级技能可引入新行为模式且不降低基线性能。闭环实机实验显示数据集构成会影响任务成败。
RoboCode 通过共享的软门控基元动作接口学习跨任务复用的短时动作模式,把动作块表示为多个学习基元的软组合而非单一离散编码。该接口在多任务动作块上学习后冻结,再训练任务特定的状态编码器映射到共享潜空间;在五个 ManiSkill 任务上平均闭环成功率 75.6%,高于 ACT 的 68.8% 和 Diffusion Policy 的 41.6%,动作块重建平均 MSE 为 0.0187。
研究显示 OpenVLA 激活的稀疏自编码器(SAE)表征包含可预测结果的信息,能在机器人进入不可恢复状态前预测任务失败。作者还定位了与成功或失败特定阶段相关的单个 SAE 特征,并通过激活显著变化的时间区间找出重复出现的行为模式。团队进一步构建基于 VLM 的解释流程,为这些模式生成行为描述,并在留出区间上验证其与特征激活的对应关系。
论文将机器人辅助穿衣建模为几何感知的插入问题,提出结合分阶段课程与逐指插入软门控的强化学习框架。在可形变手环任务的后训练评估中,完整方法成功率为84.7±1.2%,其中插入门控贡献最大,叠加课程后得分最高。在假人手部上,同一策略在20次真机试验中成功15次。
TravSUITE 是面向越野高速导航的可通行性系统,由利用视觉基础模型构建几何-语义局部地图的体素建图器和在鸟瞰图(BEV)中联合预测几何、语义、速度与代价的统一神经网络组成。
该论文研究流匹配视觉-语言-动作(VLA)模型中数值求解深度与执行时域的耦合关系,发现粗粒度数值积分在快速重规划下降低精度,但在延长开环执行时反而提升任务表现。
研究将测试时训练(TTT)集成进 InternVLA-A1 和 Pi0.5,通过配对示教与机器人轨迹训练,探索以人类示教为条件的动作生成。在当前规模下,加入 TTT 与配对数据训练并未带来基于示教的一致目标选择,更短序列、全轨迹梯度连通和对比正则也未明显提升对示教的响应。示教缩减为单帧线索时,实机执行仍偏好固定位置的杯子。
DiscoDemo 用带特权信息的潜在条件强化学习生成器配合并行逆向课程和成功门控多样性目标,产出多条成功闭环行为,经安全过滤后导出为静态数据集供下游视觉运动模仿学习。在四个操作任务上,仿真中下游平均成功率从最强基线的 40% 提升到 62%,实机上从 39% 提升到 78%。作者认为成功解法的多样性可改善预训练流匹配 VLA 的模仿学习,并与纠错数据采集互补。
研究者提出一种标准化机器人模块,将磁吸对接接口与两个驱动关节结合,可从平面二维构型折叠成三维结构。单一设计的模块能组装成三模块“trilobite”和五模块“seal”两种形态,操作者用少量离散运动指令操控已组装的母体机器人依次与备用模块磁吸对接,组装出结构相同的第二个个体并与母体分离,母体保留全部原有模块,形成出芽式物理复制。
研究提出将神经细胞自动机(NCA)与既有位点选择、碰撞感知控制结合的模块化框架,用于集群机器人形态生成。框架引入去中心化附着位点发现机制,已就位机器人通过更新并共享局部 NCA 状态识别新附着位点,部署时无需预定义位点列表。作者还提出离线稀疏保留微调和假阳性损失以衔接 NCA 生长与逐步物理装配,仿真可扩展至数百台机器人并提升形态准确率,Crazyflie 四旋翼实验验证了集成执行流程。
该论文研究以全身近距传感器作为归纳偏置,学习反射式避碰行为,发现低分辨率有损传感器比高分辨率全覆盖更能提升学习效果。研究在强化学习环境中比较了八种候选表征,包括隐空间压缩、未来接触预判、有损退化和特权状态估计,并在刻意限制样本与算力预算下端到端训练超过200台人形机器人玩简化版躲避球。作者还发现,预判接触发生的时间和部位反而降低了学习样本效率。
研究用强化学习训练一套由二十台机器人共享的策略,仅以夜间结束时最冷五台机器人的平均温度作为末端奖励,便涌现出聚集与在核心和边缘间轮换两种行为。测得每台机器人存活所需最小储能为 155.6 +/- 1.3 pcm-h(1 pcm-h 为 7.2 kJ 储热),比静止抱团低 37%,与基于物理的下界相差 13% 以内;在静止抱团会损失六台机器人的能量预算下,所有机器人都存活。
该论文指出,VLA 模型在 bf16 下全权重微调且不保留 fp32 主副本时,AdamW 会把小于权重 1/512 的更新直接舍入掉;在 12 个开源 VLA 代码库中有 9 个默认或文档化配方这样训练,包括 LeRobot 的 SmolVLA 默认配置和 π0/π0.5 指南。
推荐理由:原文量化了 bf16 微调丢失更新的比例,并给出 fp32 主副本在 LIBERO 上的成功率对比,可作为训练配置的参考。
该论文提出 BM2PC,一个用于柔性线性物体(DLO)动态操作的贝叶斯多模态 MPC 框架,将多模态规划建模为平衡控制质量与行为多样性的集合优化问题,并通过增量更新维持多个候选控制模式。
EgoForesight 是一个视觉-语言-动作框架,联合利用机器人示教轨迹与带噪自我中心视频进行策略学习,通过可靠性条件加噪与可靠性加权回归降低不可靠动作标签的影响,并用特权未来表征蒸馏从演示结果中补充监督。
FORCA 是一个编码智能体,以视觉观测和腕部力/扭矩测量为输入,编写用于接触探测和力响应运动的 Python 程序,并在执行间隙结合力记录与视觉结果诊断失败、修订运动与力反馈控制逻辑。
WorldMirror 是一个智能体式真实到仿真框架,可从野外机器人演示构建交互式数字孪生。它把真实到仿真构建表述为可执行世界程序的迭代精化,由编码智能体分解场景、规划重建步骤并调度图像与 3D 生成工具,再通过验证反馈修正程序。在 DROID 上的实验显示,该框架能重建视觉忠实、几何一致的可交互世界,并保持所记录机器人轨迹的物理有效性。
作者提出 SEVI 框架,用证据安全评论器在一次前向推理中同时估计未来约束违反风险与认知不确定性,在动作执行前判断是否不安全或证据不足,并用离线训练的恢复策略覆盖该动作。
PrefO2O 提出离线到在线潜在偏好迁移框架,在目标任务上无需任何人类反馈即可实现零样本偏好强化学习(PbRL)。该方法从源任务的少量离线偏好数据中学习任务无关的潜在偏好空间,将可迁移的偏好结构与任务特定变化解耦,并通过置信度加权的最优传输对齐生成伪偏好监督用于在线奖励适应。
KiRoSe 提出用机器人运动学数据而非多相机视频流来分割演示数据,通过稀疏运动 token(SMT)紧凑表示重复出现的运动事件。该方法用子任务标注监督开放语言模型解读 token 序列,在 F1 指标上明显优于基线分割方法,并可零样本迁移到未见过的机器人本体和第一人称人体运动。除分割外,KiRoSe 还能在未见机器人上跟踪任务进度并检测动作反向。
作者提出 RepresentNav 导航基础模型,用 Representation Residuals 三层 transformer 聚合多个视觉基础模型的全深度特征,构建由策略自身目标驱动的表征空间。
推荐理由:该论文提出用策略自身目标构建视觉表征空间,并在其中预测未来场景表征,为导航策略的表示设计提供了可迁移思路。
中科第五纪在第二十六届中国国际工业博览会上用三台纪灵-L1轮式双臂机器人接力完成拆垛、倒料、接料、码垛的连续物料流转,全程无需人工介入。同期发布立柱式具身智能机器人纪灵-S1,具备19个自由度和360°腰部旋转,并推出新一代具身大脑纪元灵脑,依托自研FAM系列具身大模型与动作光流技术探索跨本体迁移和少样本学习。
智元于10月22日正式开源AGIBOT WORLD 2026第四期“具身推理”(Physical Reasoning)数据集,称其为首个真实场景Physical Agent数据集。