RobustRLlib发布:统一17种鲁棒强化学习算法并给出273种扰动配置评测
RobustRLlib 是一个以算法为中心的鲁棒强化学习库与基准,在统一接口下集成了17种代表性在线、离线与安全强化学习算法。其评测平台覆盖多种现实偏移以及人形机器人和视觉-语言-动作任务,在273种扰动配置上给出当前鲁棒强化学习算法的能力分布,指出哪些场景仍然有效、哪些仍存在明显鲁棒性缺口。项目提供开源代码、项目页和教程,便于复现与扩展。
RobustRLlib 是一个以算法为中心的鲁棒强化学习库与基准,在统一接口下集成了17种代表性在线、离线与安全强化学习算法。其评测平台覆盖多种现实偏移以及人形机器人和视觉-语言-动作任务,在273种扰动配置上给出当前鲁棒强化学习算法的能力分布,指出哪些场景仍然有效、哪些仍存在明显鲁棒性缺口。项目提供开源代码、项目页和教程,便于复现与扩展。
作者提出基于 soft mellowmax 价值函数的正则化强化学习算法 SMM-AC,在 MuJoCo 连续控制基准上与 SAC 等基线相当,在真实机器人上取得更高回报,且对观测、环境和动力学扰动更鲁棒。研究对比了常用强化学习算法的仿真到现实迁移表现,指出正则化能提升策略对仿真到现实差距和真实环境变化的鲁棒性。
研究提出从大规模示教数据中学习速度先验,给定任务指令、运动路径和沿途图像,预测路径上的执行速度分布,并用选定分位数作为统一时钟为每条示教重定时。该方法在机器人遥操作数据和人类手持夹爪示教上拟合速度先验,把机器人示教重定时到手持节奏后再微调视觉-语言-动作策略,执行时配合实时最优控制层在机器人约束下跟踪预测动作块。
研究在 HandMeThat v2 基准上对比了基于结构化社交与具身推理的 FISER 和通过文本提示合成叙事与逼真图像做多模态增强的 CEMIR,覆盖 Qwen2.5-Omni-3B 至 GPT-5 四款大语言模型。
论文指出人形机器人安全过滤器的数学保证只在参数配置正确时成立,而参数依赖具体任务与环境,部署后可能失效。作者提出目标插入攻击并开发自动化工具 SIREN,在 SPARK 数据集的所有脆弱场景中均识别出攻击,数量为基线方法的三倍,并在真实人形机器人上触发碰撞。
作者提出 SAGE(Semantic-to-Action Grounded Execution)框架,用视觉语言模型(VLM)输出的轨迹作为对完整几何候选路径的偏好,并通过排序融合把候选的几何得分与 VLM 轨迹一致性结合。
StackGen3D 框架可根据给定积木库存与三张正交轮廓图生成稳定的积木装配结构。其先用物理信息图神经网络(PI-GNN)建模积木支撑关系并筛选稳定结构数据集,再训练条件流匹配模型学习符合目标轮廓的多模态积木配置分布。初步实验中,Best-of-10 选择将物理稳定性从 45.3% 提升至 72.4%,轮廓 IoU 达 0.970。
作者提出PnP*,称其为首个实用的可认证求解器,能在保证高效计算的同时返回全局最优的相机位姿。论文证明该凸松弛在中等噪声下是精确的,并利用弦稀疏模式和商环约简使松弛可解且可扩展,数值验证显示PnP*以超过10 Hz的频率返回可证明正确的相机位姿。
研究用匹配的仿真器与模型响应,在 Reacher 和 OGBench Cube 近千个状态上以 Gram 矩阵测量 LeWorldModel(LeWM)对小幅动作扰动的敏感性。
研究系统测试了小型足式机器人 SandBot 在沙等颗粒介质上的速度与步态参数关系,高性能仅出现在很小的参数空间区域内。将已有的机器人运动学模型与新的各向异性颗粒穿透力律结合,可预测其速度。性能在步态参数使机体加速度和肢体干涉最小化、并利用颗粒介质固化特性时达到最优。
DexPort 是一个面向高自由度机器人手的手持数据采集接口,采集与部署使用同一套手部硬件,记录关节目标指令和实测关节状态。操作者移动手持接口指定腕部运动,并通过选择或调整技能来协调手指动作,无需逐关节控制。
ViT-H 提出生成加跟踪的视频到人形控制框架,用扩散模型直接从单目视频生成人形参考动作,跳过人体动作重建与重定向环节,并用运动跟踪结果以直接偏好优化后训练生成器。作者还给出自回归变体,可在低于 400 ms 延迟下实现实时人形视频遥操作。在 Unitree G1 上的实验显示,ViT-H 在动作质量与可执行性上优于现有的重建-重定向-跟踪流水线,且性能随模型规模及预训练、后训练数据规模提升。
研究提出 OCT 引导的数据驱动框架,用用户示教学习软组织形状控制并以 OCT 闭环反馈执行。在 12 种配置、576 次体模试验中,带残差条件的体素点云 Explicit 策略在深度任务上达到 0.534 mm、方向任务 0.443 mm 的 Shape RMSE,全体积 Diffusion 加残差条件把方向误差从 0.748 mm 降到 0.555 mm。
作者提出 Backtrack,一种面向冻结 VLA 的轻量失败检测与恢复机制,无需恢复演示、策略重训或额外推理模型。它用仅增加 0.48-0.88% 参数量的失败预测头读取 VLA 内部表示,预测失败概率超阈值时暂停策略、回溯机械臂近期运动并交回原策略重试。
HoloBoxing 提出一种基于预训练全身控制器的人形机器人拳击学习方案,将可复用运动技能与任务决策分离:紧凑规划器输出未来身体点目标,冻结的控制器负责关节级执行。
针对联邦学习与 VLA 策略结合的前景,研究指出跨任务、环境、人员和机器人本体共享人类纠正适配时存在安全风险:提升平均任务成功率的共享更新可能压制罕见的安全干预,或在另一台机器人上产生不安全响应。
研究提出动作感知量化方法,用视觉语言模型把长程操作轨迹拆成物体级子任务并分配加权动作信用,构建800小时以上训练视频数据集和含19618个人工校准评估帧的LOOM基准。
作者提出 VERID,一个面向自动化实验室的持久高保真语义数字孪生,为 AI 智能体提供四项核心服务:可查询内省、时间压缩仿真、完整轨迹留存和安全执行框架。基于水溶性染料与去离子水混合物的三个案例研究验证了其光学与流体基础,展示了实验协议关键错误的预先检测、运行中状态化错误恢复以及事后识别细微物理故障。
AWARE 是一个世界模型框架,仅依靠外部摄像头监测,通过系统动力学估计与状态预测实现异常检测,无需电机编码器等机载传感器。在 240 条真实机器人吊车轨迹(含载荷碰撞与电机退化)上,其异常分类比最强基线提升 26%;推断出的动力学参数还可解码定位故障来源,退化电机定位准确率达 88%。
研究评估条件神经过程(Conditional Neural Processes)能否自主学习对动作潜在目标有信息量的动作表征,发现隐空间加入注意力机制后,在动作序列观察早期即可形成稳健的目标表征。作者据此认为该模型有望作为机器人自监督通用学习器,成果以海报形式发表于 IROS2023 认知机器人学世界模型与预测编码研讨会。
作者提出增强滤波蒙特卡洛定位(AF-MCL),仅用四个单点测距传感器和实测航向实现室内无人机二维定位,并剔除与已知静态地图不一致的测距数据、自适应注入粒子以应对定位发散和绑架问题。
论文提出一个自然语言策略接口,把操作员指令接入 ROS 2 Nav2:本地大语言模型将指令转成 JSON 策略,指定目的地、空间约束和时间或事件条件,再由确定性检查决定是否接受,并通过三个 costmap 适配器注入现有导航栈,不改变规划器与控制器。
作者提出 OWLS(开放世界语言条件速度场),直接在以视觉语言模型(VLM)的稠密特征图上规划:给定可通行地形描述后,VLM 为单张相机图像的每个像素打分,OWLS 将这些分数投影到地面,经两次形态学操作适配平台,再作为最小时间规划器的速度场,使地形外观与障碍间距共同塑造同一条轨迹。
UAV-SwarmAgent 是一个分层多智能体系统,操作员用一句自然语言下达任务,地面站智能体生成并执行代码,将其转化为每架无人机的航线。系统用视觉语言模型在空中地图上定位巡检目标,按路线长度均衡分配给 N 架无人机,再由搭载轻量决策模型的 worker 智能体核实事件。
作者提出HGWM,将大语言模型生成的房间锚点先验与持续空间语义记忆结合,用于零样本物体导航中的搜索方向选择。在HM3D v0.1上报告62.6%成功率和31.5% SPL,对比WMNav的58.1%和31.2%;在MP3D上为46.8%和17.9%,对比45.4%和17.2%。
Yonghyeon Lee 汇编并编辑的《机器人优化、最优控制与强化学习》讲义 v1 已在 arXiv 发布,强调三者的数学联系与实际应用。该讲义由人与 AI 协作撰写,属已有材料的整理而非新研究成果,目前为初步版本,尚无图表,后续计划修订与扩充。
该研究提出统一控制框架,将多机器人系统从受限于纯自组织的“专性集群”转向“兼性集群”——在条件宽松时以集中规划运行、在环境压力下平滑退化为去中心化集群的混合架构。作者主张把集群行为重新定义为一种动态能力而非固定的系统类别,从而在条件允许时利用集中式最优性、在不利时利用自组织的灵活性。
研究提出解剖锚定的模仿学习框架,将解剖引导的探头放置与学习式超声导航结合,在16名未见参与者上,肾脏、胆囊、肝脏标准切面采集和桡动脉扫查的任务成功率分别为96%、94%、88%和94%。
CoCarry 提出面向双人形协同搬运的数据集与接触支撑结构化重定向方法,数据集包含 21 种任务方案、5 种共享物体几何、4 种地形共 220 条同步双人序列,约 61 分钟运动数据。
作者提出 R²E,一个通过显式角色分工实现自动奖励函数设计的框架,用于缓解基于大语言模型的奖励设计中探索不足与优化不稳定的问题。框架包含负责扩展搜索空间的新颖性探索者、负责保守改进训练稳定性的守护者和通过交叉变异重组高性能奖励的进化者,并用动态调度策略让搜索从广泛探索逐步转向集中利用。R²E 还引入全局精英池保留表现最好的奖励以指导后续迭代,在多个机器人任务上的实验显示了该方法的有效性。
作者提出轨迹束图(GTB)方法,将基于采样的运动规划、轨迹优化与图搜索结合,用于非线性乃至黑箱动力学系统的运动规划。该方法基于工作空间的凸集图分解,迭代构建轨迹束图以刻画各顶点处的局部动力学,再通过图上的最短路问题得到在极限下满足系统动力学与碰撞、安全等约束的轨迹。作者称其可处理高度非线性、不稳定甚至黑箱的动力学与复杂约束。
LogLook 提出一种执行日志式记忆,让前沿视觉-语言模型规划器记录已执行动作与先前笔记,并按预期变化选择性回看图像帧。在基准自带运动规划器下,它与仅用笔记的记忆成功率相当,token 减少 43%、图像用量不到一半,因记忆或观察失误导致的失败也明显更少;直接控制时在 RoboMME 测试集上解决 93.5%。
DynaSlots 是一个无需动作标签的三维视觉预训练框架,将每帧点云分解为少量时间一致的槽位,并在槽位级别而非场景级别建模动力学。它通过时间槽位传播模块保持跨帧槽位分配一致,用逆动力学模型从特征差异中提取每个槽位的潜在动作,再由基于扩散模型的前向动力学模型配合自监督交互头预测各槽位未来状态并学习成对邻近与运动关系。
MAST-VLA 提出双条件框架,在 LLM 主干中引入技能条件化 LoRA 混合专家适配器,并把预测的可供性热图转为动作头的 patch 级轨迹可供性空间先验。在 CALVIN ABC→D 长程多技能跨场景设置下,其五子任务序列平均完成长度达 4.65,取得该设置下的最优表现。实机多技能序列实验进一步验证了其在真实感知与控制噪声下的可部署性,论文已被 CoRL 2026 接收。
研究在独立 CPU MuJoCo 环境中测试 24 关节人形机器人的运动跟踪策略,发现 40 ms 恒定命令延迟使平均存活率从训练随机化下的至少 26/30 降至 15%,延迟裕度仅 20–30 ms。
研究团队在 Unitree Go2 四足机器人搭载 AgileX Piper 机械臂上部署 VLA 模型,实现闭环移动操作,并报告了模型变体、动作时域和示教约定等使实机部署可行的选择。针对抓取放置任务,扩大示教覆盖使留出集末端执行器误差降低 30%,加入推动等次级技能可引入新行为模式且不降低基线性能。闭环实机实验显示数据集构成会影响任务成败。
RoboCode 通过共享的软门控基元动作接口学习跨任务复用的短时动作模式,把动作块表示为多个学习基元的软组合而非单一离散编码。该接口在多任务动作块上学习后冻结,再训练任务特定的状态编码器映射到共享潜空间;在五个 ManiSkill 任务上平均闭环成功率 75.6%,高于 ACT 的 68.8% 和 Diffusion Policy 的 41.6%,动作块重建平均 MSE 为 0.0187。
研究显示 OpenVLA 激活的稀疏自编码器(SAE)表征包含可预测结果的信息,能在机器人进入不可恢复状态前预测任务失败。作者还定位了与成功或失败特定阶段相关的单个 SAE 特征,并通过激活显著变化的时间区间找出重复出现的行为模式。团队进一步构建基于 VLM 的解释流程,为这些模式生成行为描述,并在留出区间上验证其与特征激活的对应关系。
RAISE-Vision 是面向曲面水凝胶表面接触角(CA)测量的自动化平台,用于隐形眼镜体外润湿性分析。其3D打印镜头支架、相机支架与干燥装置在液体处理系统内实现自动重复座滴流程,自研开源图像处理脚本结合椭圆拟合与切线法处理曲面上的液滴形变。senofilcon A 镜片在空气中连续10次测量,接触角从 62.6±5.5° 升至 83.4±2.1°,与人工协议结果无显著差异(p=0.470)。
论文将机器人辅助穿衣建模为几何感知的插入问题,提出结合分阶段课程与逐指插入软门控的强化学习框架。在可形变手环任务的后训练评估中,完整方法成功率为84.7±1.2%,其中插入门控贡献最大,叠加课程后得分最高。在假人手部上,同一策略在20次真机试验中成功15次。