代码即策略智能体的自我修复:重试成功由什么驱动
该研究在仿真机器人操作任务中比较了代码即策略智能体的重试机制:在同样的252个初始失败案例上,Qwen2.5-Coder-7B借助失败标签选取的反馈模板,在五次重试内恢复85.3%,而同样重试上限的重采样为68.3%,且在固定总token预算下优势仍存在。
该研究在仿真机器人操作任务中比较了代码即策略智能体的重试机制:在同样的252个初始失败案例上,Qwen2.5-Coder-7B借助失败标签选取的反馈模板,在五次重试内恢复85.3%,而同样重试上限的重采样为68.3%,且在固定总token预算下优势仍存在。
ConDR提出一种学习Hamilton-Jacobi-Isaacs变分不等式次解的方法,使学到的不可安全集包含真实不可安全集,从而减少把不安全状态误判为安全的情况。
PyRUA-REAL 框架让编码智能体把真实交互经验保存为持久记忆和可复用可执行技能,用于后续探索与代码改进。在八项真实世界操作任务上平均成功率为 91.1%,在 RoboDojo 基准的 42 项任务上平均成功率为 84.4%。研究还考察了智能体协作方式、执行反馈对代码改进的作用,以及任务描述和已有技能对鲁棒性与任务迁移的影响。
这篇综述梳理了 2024 年 1 月至 2026 年 11 月初灵巧手研究,按硬件、数据采集与整理、跨本体迁移、学习与基础模型、评测与应用五层组织文献,并加入人类手物理解与触觉感知两个横切视角。
该论文对七类 VLA 推理优化方法做了系统测量,覆盖 7 个先进 VLA 模型和从数据中心 H100 到嵌入式 Jetson Thor 的四类 GPU。研究分析了 CPU 启动开销、内存带宽与内核效率如何共同决定优化收益,以及一种方法如何改变另一种方法的效果,并据此提出在延迟预算下叠加优化的 VLA-Triage 指南。
论文提出一种由规划器条件驱动的空地辅助方法,通过评估地图不确定性如何影响 UGV 当前的 MPPI 轨迹,在导航持续退化时对同一批轨迹在已解析的地图假设下重新评分,选择改善最大的地图层请求对应空中测量并融合重规划。
一项被 IEEE Telepresence 2026 接收的研究在水中实验中让 ROV 面对受控横向水流,通过柔软振动触觉触控板向操作员传递环境信息。结果显示,遇到未预见的横向水流会显著增加操作员的体力与时间需求,触觉反馈可缓解这些负担并提升自评表现,但同时也带来最高的心理需求与挫败感;尽管如此,操作员在触觉条件下驾驶 ROV 的速度显著快于仅有水流信息的条件。
该研究在 LeRobot 平台上用真实机器人开展受控实验,比较触觉 RGB 图像、法向/深度图与标记流场三类物理线索对接触密集模仿学习的影响。720 次真实机器人试验显示,触觉感知把整体成功率从 57.8% 提升到 78.9%,其中标记流场作为单一线索最有效,成功率达 74.4%,在维持已建立接触时作用尤为突出。
作者提出 Compounding Physical RSI 自进化策略框架,通过自动能力缺口评估定位失败所在任务阶段、用行为正则化离线强化学习精炼策略,并在权重空间构建候选以保留已有技能。
论文研究用学习到的状态-动作-效果关系作为离线契约,检测形状和范围合规但语义错误的动作接口错配(轴置换、符号反转、旋转缩放、夹爪极性反转),并对可能出错的字段排序。
作者提出 SCRUB,一种基于接触的表面坐标系估计方法,让无臂四足机器人把机身搭载的工具沿近垂直表面滑动,无需已知、轴对齐或视觉预测的表面法向。SCRUB 用卡尔曼滤波从力线索和速度线索估计法向,并让预测控制器据此施力与滑动;速度线索会减去指令下压速率并在每个步态周期内取平均。
研究团队从数据中学习修剪螺旋面软体躯干机器人全身的绝热谱子流形(aSSM)模型,并将其用于模型预测控制(MPC),在硬件上完成多种形状控制任务。在闭环动态形状调节中,该方法比现有线性基线好 10 倍;在人机交互演示中完成分段塑形并平衡网球超过 25 秒,而线性基线未能完成。在硬件上训练 12 小时的无模型强化学习策略在同一平衡任务上失败。
FOSCo-Net 是一个自监督体素补全框架,利用时序累积观测作为自动监督,从单次扫描重建被树干遮挡的几何结构。作者对比了圆柱坐标与笛卡尔坐标两种自车中心栅格及多种解码器设计,门控跳跃解码器表现最稳定,相比基线显著减少虚假障碍物预测,并提升重建质量与通行安全性。该工作已被 ACIVS 2026 接收。
作者提出 soccerbot 分层强化学习框架,从大规模人类足球动作捕捉数据中蒸馏结构化潜在运动先验,把策略学习约束在动态可行的运动流形内。单一技能条件策略由此统一学会移动、带球、停球和踢球,并在技能切换时保持类人动作与流畅过渡。该框架经面向鲁棒性的仿真设计后零样本迁移到 Unitree G1 人形机器人,在真实环境中完成整套足球技能。
作者提出 H^2MARL 分层异质多智能体强化学习框架,用于人形机器人全身控制。该方法按关节自由度(JDoF)做物理异质性感知的策略分解,让每个扭矩驱动关节以自身驱动、运动学与动力学属性描述符为条件,并通过闭环策略-执行器协同优化,用共享交互轨迹联合调整高层姿态规划器与低层关节执行器。
作者提出 RoboCasa-Mem 基准,包含九项需要智能体在关键决策点使用交互历史的移动操作任务,任务分为环境记忆与过程记忆两类。该基准引入行为条件评测,对存在多条有效执行路径的任务,根据机器人先前动作推导后续任务约束,并减少固定目标分配带来的捷径。
研究提出失败边界剖面评测方法,让每个场景族只改变一个可测因素(如走廊宽度或对向车流时间间隔),并依据测量把每个变体标注为智能体应通行或应停车。沿该轴为每个智能体估计承诺(尝试通行的概率)与能力(无接触通过的概率)两条曲线,定位各自与0.5的交点并给出考虑仿真器运行间方差的区间,同时用认证标签得到决策准确率指标。
作者提出 A³-VLA 框架,从操作过程本身生成目标物体与机器人的候选区域,并用视觉分割模型离线精修,作为显式感知引导。该框架通过注意力分配损失和对比学习损失,让语言或机器人状态 token 查询视觉输入时聚焦任务关键区域。在仿真与真实操作任务上,A³-VLA 对多个 VLA 主干模型均有提升,基准平均成功率提高 6.5%–25.2%。
TwinBridge 提出一种数字孪生驱动的框架,为真实世界在线强化学习提供策略初始化和稠密视觉奖励。该方法用 3D Gaussian splatting 结合物理仿真构建数字孪生,由仿真状态给出任务事件与几何进度,用于仿真演示预训练和强化学习,再蒸馏为视觉奖励模型,与执行历史结合计算稠密奖励,支持人在回路策略优化。
UniLoop 提出统一回环检测框架,复用预训练几何基础模型的层次表示,让同一图像编码器同时产出全局描述子、供跨视角解码器做成对验证,并用原始几何预测为位姿图优化提供相对相机约束。
研究量化了涡流吸盘抓取柔性物体时,供气压力、切向喷嘴直径、表面几何与曲率对涡流诱导扭矩的耦合影响。增大切向喷嘴直径主要提升扭矩对供气压力的敏感度,而非普遍提高扭矩;圆顶凹面因与吸盘几何匹配较好,扭矩明显大于圆顶凸面,圆柱凹面与凸面差异较小。高斯过程回归在重复交叉验证中预测性能最佳,表明可由气动与几何参数联合估计该扭矩。
作者在 VGGT-SLAM 2.0 上提出固定根尺度锚定与短序列辅助的直接回环连接方法,用于缓解子图尺度漂移和跨子图测量不一致。在 17 组序列对比中,9 条 TUM 序列的平均 Sim(3) ATE 从基线的 0.1018 m 降至 0.0451 m,7 组无回环模块消融均因锚定得到改善。
研究提出面向移动连续体机器人的统一规划与控制框架,将A*搜索与最小加加速度规划构成的全局层,与几何一致逆运动学求解器和黎曼优化构成的局部层结合,协调移动底座与连续体变形以避障。作者在仿真管道穿越任务中与多个基线规划器对比,并开展密集障碍导航与狭窄空间操作的实机实验,结果显示运动一致性、可行性与适应性有所提升。
该论文提出一类比经典控制不变集更宽的安全集,并分析通过约束预测时域内不同节点而非仅终端状态来保证递归可行性的 MPC 方案。当安全集是合适控制不变集的内近似时,方法可通过安全中止策略保证安全,即使不具备递归可行性。作者在 6 关节机械臂仿真中报告约束违反少于现有方法,并保持相近的跟踪性能与计算效率,硬件实验也验证了方案可行性。
研究提出面向 RoboMME 基准的三层系统:GPT-6 Astra 从存储的视觉历史中选择子任务,π0.5 视觉-语言-动作策略执行,微调后的 Qwen3-VL-4B 监控器在每个动作块后判断子任务是否完成。
一篇扩展摘要提出大语言模型(LLM)在水下机器人中应承担更高层级的作业支持角色,而非直接控制。水下外场任务的主要精力常花在故障诊断、遥测解读、任务调整与多装备多操作员协调上,LLM可依托结构化载具状态、告警、日志、任务上下文及现有规划与验证工具发挥作用。
作者提出将像素级可见光通信(PVLC)的位姿估计扩展为三维,把设备上四个共面光电传感器接收的二维像素位置作为图像点、已知三维布局作为物点,求解 PnP 问题。实验显示系统延迟约 8 ms,经卡尔曼滤波后三维位置 RMSE 为 19.2 mm,无需外部感知基础设施即可与高质量投影图像内容协同完成实时三维位姿估计。
作者提出一种从演示学习的方法,联合学习动力学模型与物体特定的物理属性隐表示,并用在线估计的隐表示条件化模仿策略,使机器人能根据交互中获得的物理属性信息调整重抓取和接触位置等操作动作。执行时动力学模型与策略权重保持固定,仅根据预测观测与实际观测的偏差更新隐表示。在质心不同的物体上,真实世界与仿真实验显示在线适应可提升任务成功率,但仿真中演示未覆盖的质心位置成功率仍约30%,对未见物理属性的适应有限。
研究在plant binding条件下——扰动速度接近或超过执行器转速极限、每步执行预算受限——边界层滑模控制(SMC)相对LPF、PID等因果基线的视觉稳定效果。
该论文提出从人类手物交互(HOI)数据集中学习整体预测未来手物状态,并将预测的物体未来状态作为强化学习的通用奖励项,减少对任务专属奖励工程的依赖。作者在仿真和真实世界的三个操作任务上实验,称在成功率和针对新物体的泛化性上优于现有 SOTA 方法,并验证了跨本体兼容性,可将技能部署到不同机器人手上。该工作已被 AAAI 2026 接收为 oral 论文。
该论文提出一种面向基于特征的双目视觉惯性里程计(VIO)的轻量反光感知前端,实时估计地面高度,只剔除推断三维位置低于估计地面的特征候选。方法用地面区域掩码限定验证范围,以双目高度不确定性和位姿不确定性构造帧级地面高度量测,再用带NIS门控的标量卡尔曼滤波稳定估计,并按不确定性设置安全裕度做选择性剔除。
LumiTac是一种无相机的光电式六轴触觉传感器,直径12 mm、厚4.75 mm、重不到2 g,元件成本约7美元。它用5个光发射器和5个RGBW光接收器经半透明硅胶耦合,由多层感知机从20个光通道重建三向力与三向力矩,独立测试R²为0.9657-0.9941,力的平均绝对误差0.054-0.190 N,力矩为0.304-1.419 mN·m。
该论文提出用统计杠杆分数为回放缓冲区中的每条转移打分,并按该分数与均匀采样的混合方式抽取小批量,以缓解机器人离线经验中稀有事件采样不足的问题。方法在动作以 one-hot 编码存储时改用峰度最大的特征列,并放弃优先回放的重要性权重修正,直接优化重平衡目标;对目标相关的稀有情形则对短轨迹窗口套用同一尾部规则。
论文提出 Future-Window Inverse Kinematics(FWIK),一种在线逆解选择方法,通过考虑未来若干路点,在分层关节空间图中连接多个 IK 候选,并用运动时间估计排序,再由学习模型剔除易自碰撞的转移路径。
作者检验 RRT* 在三角网格地形上的适用性,指出原始 RRT* 无法直接在网格上运行,因为曲面体积为零,均匀采样无法命中曲面。其提出的 Mesh RRT* 在坡度最高 75 度的地形上每次运行都能求解,但代价函数存在偏差:3 万次迭代后报告代价平均比精确测地线低至多 2.7%,返回路径平均长 0.1-0.5%。
作者提出 Time-to-Goal(T2G),一种在离线轨迹的隐状态三元组上训练的轻量度量,用 margin ranking loss 让时间上更接近目标的状态获得更小距离,无需奖励或策略标签。
研究提出 RACE,一种无需实机 rollout 的机器人策略检查点评分指标,用固定留出的成功轨迹对动作偏差做状态条件阈值校准,再以连乘累积降低大幅偏差后参考预测的权重。仿真中 RACE 在不同验证来源下优于基线,部分基线在验证集变化时明显退化;在真实机器人上,其排序在所评估的策略骨干和不同难度任务上与部署成功率一致。
ZipDrift 提出用一步漂移生成器学习短视距 MPC 的代价修正,只依赖候选修正的代价评估训练,不通过优化器反向传播。
作者提出一种多机器人闭环自适应采样框架,用单个学习生成模型同时完成预测、不确定性估计、规划和测量同化。模型在潜空间生成集合预报并解码为物理海洋状态,用集合统计量构造A-或D-最优采样目标,在预测海流约束的机器人可达范围内选点,并通过观测条件扩散采样把测量回灌潜状态。
作者提出 GRASP 方法,用采样探索结合梯度引导精修,在不需要可微仿真器的条件下把人类演示重定向为符合接触动力学的机器人控制。GRASP-TO 通过对归档轨迹拟合局部二次代价模型并用其梯度引导 MCMC 更新,GRASP-MPC 用热启动滚动时域规划扩展到长演示。