研究:闭环机器人软件的学习与迁移
研究把完整闭环机器人策略实现当作可复用的执行经验,由编码智能体根据少量成功演示生成策略代码,并用仿真反馈迭代改进。在 RoboCasa 的四个源任务上,迭代优化把成功率从初始生成代码的 28.3% 提升到验证集筛选代码的 64.2%,并在 Unitree G1 实机上验证了该学习方式。
研究把完整闭环机器人策略实现当作可复用的执行经验,由编码智能体根据少量成功演示生成策略代码,并用仿真反馈迭代改进。在 RoboCasa 的四个源任务上,迭代优化把成功率从初始生成代码的 28.3% 提升到验证集筛选代码的 64.2%,并在 Unitree G1 实机上验证了该学习方式。
论文发布一套开源 ROS 2 软件栈,恢复 Franka Emika Panda 的 ROS 2 支持并解决其外部位置控制接口长期不可靠的问题。作者分析认为,振动和保护性停机源于外部控制环时序与采样抖动,而非机器人本体限制,据此提出将实时通信与 ROS 2 控制环解耦的异步硬件接口、面向较慢指令源的速率匹配机制,以及位置域参考生成策略。
UniCross 提出统一框架,将抓取、移动、手内旋转和手内平移四种灵巧操作技能建模为同一关系目标形式,并蒸馏出不依赖技能标识的单一策略。该策略在各单项技能上表现良好,可泛化到未见物体,并支持长程技能串联和执行训练中未出现的关系目标,框架也适用于不同手部形态。
作者提出 DR-LfD 框架,将视觉运动策略接入 TAMP 门控决策系统,按接触关系把人类示教拆成原子技能,再以视觉运动策略或物体中心基元复现并重组。该方法把示教数据需求从随技能序列指数增长转为随技能种类数增长,在 DexMimicGen 两个任务上以 100 条示教超过使用 1000 条示教的扩散模仿策略。论文已被 T-RO 接收。
该研究把机械臂运动用于自由漂浮航天器的无推进剂姿态控制,将其建模为带关节与避碰约束的轨迹优化问题,并用内点法求解。在一系列航天器-机械臂系统上,该方法算出了最大 90° 的静止到静止转向轨迹,以及角速度降低 40% 的消旋轨迹。作者还通过动量与力矩包络,把机械臂的控制能力与反作用轮阵列直接对比,指出机械臂可作冗余乃至主姿态控制系统,在抓取高相对质量载荷的空间装配与制造中尤其有前景。
作者提出 SPARK(Sequential Planning via Anchored Robotic Keypoints),把任务描述为符号化行为树,仅在每个动作被调用时锚定到当前 3D 观测,运行时验证计划并在局部失败时重新锚定物体,只有这一步失败才请求新计划。
VEGA 提出从无标注第一视角导航视频训练导航视觉-语言-动作(VLA)模型的方法,通过单目视频重建局部场景几何、采样文本/图像/空间路点目标并生成避障轨迹,再用这些轨迹训练流匹配 VLA 导航策略,几何仅在训练阶段使用。
研究提出基于强化学习的协同设计框架高斯进化专家策略(GES),通过维护一组专家策略并让各自的设计空间领地随控制表现演化,缓解单一共享策略在不同形态下收敛到同一控制策略的行为多样性坍缩问题。
NDPP-Grasp 提出把物理合理性约束直接注入任务对齐抓取扩散模型的去噪过程,即使约束不可微也能在生成全程施加引导。现有扩散方法先训练抓取扩散模型对齐任务,再在生成后做物理合理性修正,生成轨迹本身不受物理约束引导。该工作被 NeurIPS 2026 接收。
作者提出 TacO 框架,按操作策略表现系统评测触觉传感器,覆盖视觉、声学、磁性和电阻四种模态。研究在未知质量抓取放置、物体重定向和插孔三类任务上分别训练策略,分析空间分辨率、剪切感知、触觉表征和材料摩擦等传感器特性对任务表现的影响。结果显示触觉信息的价值取决于传感器模态、材料属性和具体操作任务,并非普遍有益;传感器、代码、数据与硬件方案将在项目网站公开。
作者提出 AlphaAdj,一个视觉到控制的导航框架,用第一视角 RGB 观测和视觉语言模型(VLM)按视觉语义上下文调节控制障碍函数(CBF)的保守程度。VLM 输出标量上下文谨慎信号来动态调节 CBF 参数 alpha,并由几何与速度相关的上限约束激进程度;为应对 VLM 延迟,推理与控制回路异步运行,语义信号直接取自 token 级输出概率而非完整自回归文本生成。
该论文提出一种规范感知的动作分布优化框架,可在不修改预训练机器人基础模型参数的情况下,于执行时强制满足一类信号时序逻辑(STL)约束。方法在每个决策步通过前向动力学推演剩余时域,计算满足硬 STL 可行性约束的最小修改动作分布,并在仿真中用当前先进机器人基础模型跨多环境与复杂规范进行验证。
FlowTouch 是一个视角无关的视觉-触觉预测模型,用物体局部三维网格编码信息来预测触觉图案,从而在未接触物体时也能获得触觉反馈。该方法结合场景重建与基于 Flow Matching 的图像生成模型,结果显示它能缩小仿真到现实的差距并泛化到新的传感器实例,生成的触觉图像还可用于下游抓取稳定性预测。代码、数据集和视频已公开。
作者提出 π-StepNFT,一种面向流式 VLA 的在线强化学习框架,把 SDE 采样中的转移作为监督单元,用方差归一化的转移误差区分正负速度分支,无需计算最终动作似然。
作者提出 CHOP,用反事实人类偏好标签微调视觉运动导航策略,使其对齐人类对安全与避障的直觉。在 SCAND 数据集上,多个先进模型经 CHOP 微调后近碰撞事件平均减少 49.7%,偏离人类偏好轨迹减少 45.0%,平均障碍物间距增加 19.8%。
WildOS 是一个面向长距离、开放词汇目标搜索的统一系统,将安全几何探索与语义视觉推理结合,用于无先验地图、深度感知受限的复杂户外环境。系统构建稀疏导航图维护空间记忆,并用基于基础模型的视觉模块 ExploRFM 对图的前沿节点打分,同时预测可通行性、视觉前沿和物体相似度,实现实时机载语义导航。
EquiContact 提出一种分层框架,由高层视觉规划器 Diff-EDF 和低层柔顺视觉运动策略 G-CompACT 组成,用于学习可跨任务构型空间泛化的接触丰富操作策略。
作者提出 CWAM(Causal WAM),通过在世界动作模型的动作头上增加稀疏路由路径,把真正驱动动作的隐变量与场景预测所依赖的干扰变量分离,世界建模目标保持不变。论文证明在稀疏约束下,用于生成动作的隐变量是动作相关隐变量的可逆函数,真实结构可在隐变量置换意义下被识别,且不要求充分的时间依赖或对未观测状态演化作假设。合成数据与真实机器人实验验证了该理论,并显示闭环成功率效率提升。
作者发布开源 Python 库 Sensorium,基于 ROS 和 ROS2 中间件,从可配置的机器人与传感器数据流中录制、处理、标注并整理多模态手术数据,覆盖操作端采集、可配置处理、语义标注和按片段生成数据集。该库在 1516 次体模、离体和活体猪实验录制上完成评估,涉及多种手术任务与传感配置,并给出初步可用性反馈。
作者提出PGGT(Primitive-Grounded Geometry Transformer)网络,输入单张查询图像和一组平面地图图元,直接预测6自由度相机位姿,实现前馈式相机定位。该方法在稠密表面地图和极简布局模型上均刷新了定位性能,代码与模型已公开,论文被NeurIPS 2026接收。
DrawSplat 提出一种 Atlanta World 引导的隐式高斯 SLAM 框架,用于室内重建。该方法先通过点线联合跟踪估计相机位姿、稀疏几何与重力方向,再借助 Atlanta World 先验的共享重力分量从跟踪线推断结构平面,并将其转为对高斯中心与法向的可微正则项。框架还结合基于锚点的隐式神经高斯表示与自适应结构采样,在多个数据集上实现稳健跟踪、高保真渲染与几何一致重建。
FOCUS 提出将局部最优传输对齐与短时域可微 actor-critic 学习结合,用于仅观测模仿学习,无需时间对齐的专家轨迹或专家对齐初始化。该方法用软 best-of-K 目标把智能体 rollout 窗口匹配到多个采样的专家片段,由传输代价给出可微模仿奖励,并用学习到的 critic 在 rollout 时域之外自举价值。
SACQ 是一种面向视觉-语言-动作(VLA)模型的超低比特权重量化框架,结合结构感知码本拟合、动作感知混合比特分配和两阶段量化后精修。
MotorSense 是首个大规模自我中心视频与表面肌电(EMG)配对数据集,包含 100 小时无脚本操作中的同步视频、双臂 EMG、IMU 和音频。研究利用该数据做视频与 EMG 跨模态预训练,学习视觉与运动空间共享的动作组织,并迁移到动作识别、3D 手部重建和 3D 接触重建等任务。在四类动作相关视觉任务和八个视频数据集上,这种感知运动对齐的表征均优于传统视频自监督方法。
arXiv 论文在简化周界防御仿真中对比了集中指挥官、拍卖式共识团队和独立 LLM 智能体在五种网络条件下的表现,共识团队入侵率为 15%,指挥官为 32%,独立智能体为 29%。
cuPIQP 是一个基于近端内点法的 GPU 批量可微二次规划(QP)求解器,统一支持稠密、稀疏和多阶段问题。在每批最多 16384 个 QP 的基准中,其求解速度最高为 Moreau 的 18.8 倍、八核 PIQP 的 4.26 倍;端到端学习任务中训练加速为 QPAX 的 4.6 倍、Moreau 的 7.8 倍。
一项在真实家庭环境中开展的试点研究评估了面向犬类福利的“曲线绕行”导航动作——在狗的警觉距离触发横向弧线绕行轨迹,但结果与假设相反,该动作比直线基线引发更强烈的应激反应。作者认为,机器人多次停顿并重新定向以近似弧线的不连续执行削弱了行为可读性,这本身成为应激源。研究由此提出机器人行为对非人类的可读性与代理刺激效度是动物-机器交互(AMI)的结构性挑战。
AquaProbe 提出一种冻结视觉模型的水下图像适配方法,通过成对干净图像与物理渲染图像测量域差异在编码器各深度的分布,再按该分布分配固定的 LoRA 秩预算。
一项博弈论与多智能体研究提出,无法通信的团队可通过读取对手对群体整体的反应(tell)来获知单个成员看不到的信息,一次tell可替代全体成员的消息传递。在已求解的高斯模型中,团队通过承诺不使用全部信息来获得真相,并保留对手本应付出的隐藏成本;精确检验可判定该结论在有限博弈中何时成立。研究还分析了信任分配方式,指出两个可互换成员以不同方式响应可替代单个成员的私有随机源。
作者提出 ID-WM(Implicit Dynamics World Models)分层世界模型,用高层模型在状态流形上采样可行转移,低层世界模型作为逆动力学求解器把转移落到精确动作。在三个导航与操作测试集上,它比现有策略与扩散规划器提升 38.5%,相比单层世界模型 MPC 在复杂未见长程配置中提升 135%。
RoboArchitect 让编码模型观察机器人 rollout、诊断失败并迭代修改冻结策略外围的智能体框架,在不更新任何模型权重的情况下把未见场景平均成功率从 9.7% 提升到 43.3%(4.5 倍),未见任务从 12.7% 提升到 40.2%(3.2 倍)。
ROOF 提出一种带接触支撑几何逃逸引导的强化学习方法,让仅靠本体感知的人形机器人在头顶障碍下先腾出空间再完成起身。仿真中,在只能抬起的板下恢复成功率为 88.5%,无几何引导时为 18.9%;在尺寸、质量和位置随机化的自由板下为 98.6%。部署到 Unitree G1 后,在七类真实障碍场景的 150 次尝试中成功恢复 95 次,其中包含训练中未出现的家具和多物体布置。
作者提出 REA 路由式具身智能体运行时,让负责推理的 System 2、具身路由 System 1 与反应式 System 0 策略在同一运行时协作,核心规则是运行中的策略不等待大脑。
一项研究提出面向辅助轮椅多目标导航的混合路径规划框架,将旅行商问题(TSP)用于全局任务排序,结合势场(PF)方法与RRT、A*等启发式局部规划器实现无碰撞导航,并开发出TSP-PF-RRT与TSP-PF-A*两种算法。在拥挤和超拥挤场景的蒙特卡洛仿真中,该框架能在含异构动静态障碍物的动态人类环境中完成高效多目标导航,其中TSP-PF-RRT碰撞更少或为零、行驶距离更短。
研究提出证明携带演化(PCE)方法,让语言模型在搜索中同时给出控制器及其证书,只有通过证书校验的候选才能被返回,部署产物是控制律与证书。作者在限速对接、机动目标追踪和 SO(3) 姿态控制上比较四个语言模型与经典搜索和综合方法,线性问题用精确有理数算术校验证书,SO(3) 上先浮点校验再对每个报告冠军精确复验,各方法最佳运行还获得 Lean 4 证明。
作者提出 Nexus-VLA 混合策略学习框架,通过端到端人机联合训练实现跨本体知识迁移,让人类操作经验直接参与机器人策略学习。该框架先建立从任务意图到细粒度交互的分层跨本体语义对齐,再把多级共享知识编码为共享操作隐表示,直接用于连续动作生成。在 RoboCasa-GR1、OOD 设置和真实机器人实验中,Nexus-VLA 在 RoboCasa-GR1 上取得 80.5% 的任务成功率。
该论文提出悬垂织物机器人操作面(RMS)的可分离悬链线模型,可快速计算给定执行器高度下的表面形状,以及达到期望局部斜率所需的执行器高度。闭式逆解让简单 PID 控制器即可在织物面上定位物体,模型还把织物长度、模块跨度和执行器行程与可达工作空间关联,给出最小织物长度下界和设计图表。
研究团队发布了一款用现成部件搭建的开源膝部外骨骼,其生物力矩控制器完全由仿真生成,无需在目标设备上采集训练数据。方法是用肌肉驱动模仿策略从公开生物力学数据集复现深蹲动作,再把膝关节力矩蒸馏成仅依赖板载传感器的估计器。
研究提出用语言条件行为克隆实现自主内窥镜引导,定义了6种临床相关引导行为并采集235条子任务演示。在初步体模实验中,单一视觉运动策略在聚焦、全景和停止上成功率为100%,搜索尖端和跟随尖端为80%,水平校准为50%。作者指出失败模式说明更复杂的引导任务需要引入时间上下文。
研究将 CADENCE 与去中心化版本 DADENCE 两套算法扩展到动态版 POCGAGP(DPOCGAGP),新增 Agent Loss 与 World Change 两种部署期扰动设定,用于多智能体在未知受限空间中建立完全覆盖的通信网络。在超过 4500 个不同规模与结构的基准测试用例上,改进算法性能优于另一先进基准算法。该工作聚焦仿真基准评测,尚未涉及实机验证。