ROOF:头顶受限环境下的人形机器人摔倒恢复学习方法
ROOF 提出一种带接触支撑几何逃逸引导的强化学习方法,让仅靠本体感知的人形机器人在头顶障碍下先腾出空间再完成起身。仿真中,在只能抬起的板下恢复成功率为 88.5%,无几何引导时为 18.9%;在尺寸、质量和位置随机化的自由板下为 98.6%。部署到 Unitree G1 后,在七类真实障碍场景的 150 次尝试中成功恢复 95 次,其中包含训练中未出现的家具和多物体布置。
ROOF 提出一种带接触支撑几何逃逸引导的强化学习方法,让仅靠本体感知的人形机器人在头顶障碍下先腾出空间再完成起身。仿真中,在只能抬起的板下恢复成功率为 88.5%,无几何引导时为 18.9%;在尺寸、质量和位置随机化的自由板下为 98.6%。部署到 Unitree G1 后,在七类真实障碍场景的 150 次尝试中成功恢复 95 次,其中包含训练中未出现的家具和多物体布置。
作者提出 REA 路由式具身智能体运行时,让负责推理的 System 2、具身路由 System 1 与反应式 System 0 策略在同一运行时协作,核心规则是运行中的策略不等待大脑。
一项研究提出面向辅助轮椅多目标导航的混合路径规划框架,将旅行商问题(TSP)用于全局任务排序,结合势场(PF)方法与RRT、A*等启发式局部规划器实现无碰撞导航,并开发出TSP-PF-RRT与TSP-PF-A*两种算法。在拥挤和超拥挤场景的蒙特卡洛仿真中,该框架能在含异构动静态障碍物的动态人类环境中完成高效多目标导航,其中TSP-PF-RRT碰撞更少或为零、行驶距离更短。
研究提出证明携带演化(PCE)方法,让语言模型在搜索中同时给出控制器及其证书,只有通过证书校验的候选才能被返回,部署产物是控制律与证书。作者在限速对接、机动目标追踪和 SO(3) 姿态控制上比较四个语言模型与经典搜索和综合方法,线性问题用精确有理数算术校验证书,SO(3) 上先浮点校验再对每个报告冠军精确复验,各方法最佳运行还获得 Lean 4 证明。
作者提出 Nexus-VLA 混合策略学习框架,通过端到端人机联合训练实现跨本体知识迁移,让人类操作经验直接参与机器人策略学习。该框架先建立从任务意图到细粒度交互的分层跨本体语义对齐,再把多级共享知识编码为共享操作隐表示,直接用于连续动作生成。在 RoboCasa-GR1、OOD 设置和真实机器人实验中,Nexus-VLA 在 RoboCasa-GR1 上取得 80.5% 的任务成功率。
该论文提出悬垂织物机器人操作面(RMS)的可分离悬链线模型,可快速计算给定执行器高度下的表面形状,以及达到期望局部斜率所需的执行器高度。闭式逆解让简单 PID 控制器即可在织物面上定位物体,模型还把织物长度、模块跨度和执行器行程与可达工作空间关联,给出最小织物长度下界和设计图表。
研究团队发布了一款用现成部件搭建的开源膝部外骨骼,其生物力矩控制器完全由仿真生成,无需在目标设备上采集训练数据。方法是用肌肉驱动模仿策略从公开生物力学数据集复现深蹲动作,再把膝关节力矩蒸馏成仅依赖板载传感器的估计器。
研究提出用语言条件行为克隆实现自主内窥镜引导,定义了6种临床相关引导行为并采集235条子任务演示。在初步体模实验中,单一视觉运动策略在聚焦、全景和停止上成功率为100%,搜索尖端和跟随尖端为80%,水平校准为50%。作者指出失败模式说明更复杂的引导任务需要引入时间上下文。
研究将 CADENCE 与去中心化版本 DADENCE 两套算法扩展到动态版 POCGAGP(DPOCGAGP),新增 Agent Loss 与 World Change 两种部署期扰动设定,用于多智能体在未知受限空间中建立完全覆盖的通信网络。在超过 4500 个不同规模与结构的基准测试用例上,改进算法性能优于另一先进基准算法。该工作聚焦仿真基准评测,尚未涉及实机验证。
研究提出在冻结运动策略下在线学习闭环动力学的方法,用污染高斯模型区分可预测与不可预测响应,并结合高斯过程与随机傅里叶特征构建在线学习器,以降低异构观测带来的偏差。该方法与模型预测控制(MPC)结合后能更准确预测浮动基座运动,仿真与硬件实验中末端执行器跟踪误差为 0.01 m,并给出了在线学习的有限样本误差界。
研究团队提出 Movens-Zero 可扩展的理解-生成-执行架构,支持文本、语音、音乐和视频输入下的实时闭环人形运动生成。其配套数据集 Movens-5M 从互联网视频经片段生成、质量过滤、语义标注、运动恢复与人形重定向物理精炼构建,含 1500 万条人类运动序列和 500 万条可物理执行的人形运动序列,总时长超 1 万小时。
推荐理由:该技术报告给出从互联网视频构建人形运动数据集并训练统一理解-生成-执行模型的完整路径,可供参考数据规模与架构设计。
作者提出 META-Robot 框架,将自我认知与能力扩展结合,通过动作级谓词把执行结果显式化,供 LLM 推理使用。智能体据此识别自身局限、扩展评估标准,并引导技能的结构化扩展;本体感知反馈进一步把这一过程锚定在机器人的物理状态上。仿真与实机实验显示,该框架在整体任务表现、新任务泛化、技能与评估标准持续扩展以及非视觉本体感知信号利用方面均有提升。
作者提出 SimuGuard,一个面向 LIBERO、RoboTwin、RoboCasa 和 RoboDojo 的审计插件,用于识别仿真器而非策略导致的失败。在 RoboTwin 上,作者将这类失败追溯到物理引擎的碰撞检测:几何相距 1 至 2 厘米时引擎报告约 2 厘米穿透,求解器以数米每秒把物体弹出,原因是距离算法丢弃了低于固定面积阈值的三角形。
推荐理由:原文把仿真基准中的失败追溯到物理引擎碰撞检测常量,并给出修复前后的成功率对比,可供做仿真评测的团队参考。
SketchMate 让视觉语言模型为插入任务构建由少量几何基元和两个配合坐标系组成的草图模型,再由规划器与柔顺控制器执行。在 69 个仿真插入回合的严格运动学测试中,该方法以装配姿态插入 88% 的零件,而使用同一 VLM 的 ReKep 和 MOKA 均未插入成功。
研究把低推力(LT)轨道转移建模进部分可观测马尔可夫决策过程(POMDP),用于在轨服务(OOS)任务规划,状态空间加入服务航天器剩余推进剂以支持质量更新。高推力转移用预计算转移矩阵建模,低推力转移用解析GEO相位模型表示,并按给定转移时长备选方案计算推进剂消耗与机动可行性。在简化OOS场景中用SARSOP求解并比较高推力与低推力策略,定量评估低推力方案的可行性与运行影响。
研究提出编码器的生成式测量模型,并推导最大后验估计表达式与优化所需雅可比,构建了紧耦合的视觉-惯性-编码器 RGB-D SLAM 系统。在自建数据集上,该系统实时状态估计的均方根误差约为 2-7 cm,用于弥补纯视觉方案在特征点暂时缺失和快速运动时的失效。源码和含编码器信息的数据集已公开。
该论文利用串联机器人的高阶运动学导数,提出保形实时数值逆运动学方法,给出四阶与五阶收敛的 QuIK4、QuIK5 求解器。方法还包含沿步长外推雅可比行列式以预测并规避奇异的保形步长限制器,以及用 Hermite 插值验证解保形性的认证器与认证重启算法。作者称相较既有方法失败率最多降低四个数量级,并发布带 ROS 2 集成的 C++ 库。
建筑机器人(如机器人隔断、天花板、家具与立面)可自主移动并重构空间,作者据此反思:其影响不止于运动瞬间,还包括运动停止后持续存在的空间配置。这类行动可能让部分使用者受益、另一些使用者受损,多台机器人还能共同让整个建筑空间显得在行动。作者主张,理解机器人建筑需超越短期人机交互,关注人如何居住、协商并保持对可自主重构空间的控制。
该论文提出柔性感知操作框架,把柔性连杆的结构动力学与传感、运动学和控制直接连接起来。方法先按响应收敛和激励带宽准则识别各柔性连杆的主导振动模态,在全秩模态可观测条件下,m 个保留模态只需 m 个独立斜率测量和一个参考 IMU,并据此重建连续连杆变形,用于柔性感知正运动学和基于偏微分方程的控制器。
arXiv 论文《When the Past Shapes Action: Understanding Embodied Memory》将具身记忆定义为在当前观测之外保留决策相关信息,并按六个基本记忆需求与八类架构组织现有方法。
一项 arXiv 研究用肘部助力外骨骼服考察举重时力增强的生理、感知与认知后果,发现辅助虽降低肌肉活动,但行为结果并不简单对应这一生物力学变化。辅助降低了感知重量,但该效应受参与者初始经验强烈影响;辅助还选择性削弱了对环境条件变化的适应,努力决策的差异同样由初始经验塑造,而非单纯跟随肌肉活动或感知疲劳的下降。作者据此认为,力增强的感知与认知后果无法仅凭生物力学收益推断,需与身体表现一并评估。
作者提出一种基于模型预测路径积分控制的分散式运动规划器,同时计算自船轨迹和其他船舶的轨迹预测,并把交通规则编码为不连续代价,无需平滑近似。在取自阿姆斯特丹运河真实河段的地图中,780 次随机运行均无碰撞、无死锁到达目标,优于同领域优化规划器及不考虑交互的版本。两艘缩比船原型在户外以 10 Hz 机载规划与定位,完成对遇和交叉相遇且未违规。
OpenVIO 是一个以 MIT 许可开源的视觉-惯性里程计(VIO)系统,支持针孔相机、鱼眼相机,并扩展到拼接 360° 图像。作者介绍了系统各模块的设计考虑,并在公开数据集上与其他开源 VIO 系统进行了基准对比。代码已开源,论文共 7 页、6 张图。
该论文提出一种体素建图系统,用并行计算同时生成占据栅格地图(OGM)和欧氏距离变换(EDT),并增量构建全局 EDT,为在线运动规划输出高频局部距离信息。系统用 GPU 编程在局部体积内并行计算 EDT,再通过并行波前算法把新观测持续融入全局 EDT,同时保留历史观测。
ResMerge 提出两阶段框架,在冻结的预训练策略之上学习可合并的残差策略:残差强化学习在适配阶段无需额外专家示教即可获得任务特定修正,参数空间合并则整合兼容残差以减少存储参数。
作者提出 ∇Mimic,用可微仿真器的精确梯度训练人形机器人全身运动跟踪策略,在单张 GPU 上 20 分钟达到 0.82 分、1.8 小时达到 0.874 分,而世界模型方法达到 0.82 需 1.2 小时。
推荐理由:论文给出可微仿真下精确梯度训练人形策略的完整方案,并开源引擎与代码,便于对比一阶与零阶方法的效率差异。
作者提出 Direct Manifold Action Transformer(DMAT),把双臂动作生成重构为从随机插值中直接建模干净的、以观测为条件的关节空间动作块,实现单步推理,无需迭代去噪或轨迹拉直。
RTPolicy 是一种多视角视觉运动策略,通过视角感知特征融合与视觉压缩,把多相机信息聚合成紧凑 token 表示,并用流匹配动作生成器降低动作生成开销。在 RoboTwin 2.0 单任务 clean 评测的 50 项任务上,平均成功率为 52.26%,高于榜单最强基线 π0 的 46.4%。
研究在 LIBERO-Goal 仿真中对六个模型检查点施加空、中性、无意义、不可行和错误任务五类指令,固定初始状态只改变指令,考察 VLA 策略是否启动、完成哪个任务以及指令决定什么。
该论文针对双积分动力学与加速度平方目标,推导出两台机器人从静止到静止的最优无碰撞轨迹完整解析刻画,证明这些轨迹属于八类接触族,并给出每种初始与终止位置组合对应的族判定。作者分析了最优轨迹的几何性质,提供了数值计算算法,并讨论了这些结论如何改进现有数值轨迹优化器的性能。
作者提出顺序接触插入算法(SCI),围绕机器人达到最小允许间距的接触点组织优化,并在接触点之间解析重建轨迹。数值实验中,该方法可在数分钟内完成一百万台机器人的规划,数千台机器人只需不到一秒;在固定网格顺序凸规划基线可求解的问题上,SCI 在解精度相当的情况下取得数个数量级的中位加速。
作者提出 AC-SMPC,一种带状态约束的 actor-critic 模型预测控制框架,用于受限动态环境中的安全导航。该方法用顶点表示机器人与障碍物、半空间表示工作空间,将非线性动力学局部线性化并把基于超平面的避障约束凸化进可微 MPC 层,actor 通过闭环反馈调整 MPC 目标参数,critic 评估长期任务表现。
SAFARI 将目标检测作为统一概率地图的原生通道,让几何与语义证据共同驱动探索和规划。作者在三个野外场地的四足平台上完成11次任务,平均覆盖98.7%的可达任务区域,97.6%的任务时间无需操作员干预,可检出特征尺寸小至15cm的物体。消融实验显示,物体尺寸感知与安全感知路径规划对危险物体搜索至关重要。
论文提出一种带边界约束的运动学标定方法,用于提升6自由度机器人穿刺引导机械臂的定位精度。该方法用物理合理的参数范围约束一个19参数几何辨识模型,把边界作为主动优化约束以缓解参数耦合与过拟合;仿真中末端执行器RMSE从3.422 mm降至0.690 mm(改善79.8%),台架实验中轨迹验证RMSE为0.865 mm、坐标格点验证RMSE为0.610 mm。
BioAgent 是一个面向长程实验室协议的具身智能体,通过匹配人工审核需求与已验证技能、为缺失行为选择工具实现并按需请求人工示教来获取新技能。在第二个任务中,它原样复用 17 种技能、修改 2 个已有实现并新增 5 种技能类型;在两个分别含 20 和 31 次有序技能调用的双臂实验室任务上,完整任务成功率分别为 66% 和 58%,每个任务各运行 50 次并启用自主恢复。
作者提出 MolmoSpaces-CommonSense 基准,基于发展认知科学构建推理分类体系,考察遮挡、容器、支撑关系、语义正确抓取点、空间可供性与隐藏物体等常识推理。
DiffWBC 提出用一步扩散模型替代确定性策略来做通用人形机器人运动跟踪,每个 50 Hz 控制步只需一次前向推理,在 BONES 基准上局部跟踪误差为 20.1 mm,并在 Unitree G1 实机上部署。
CalibSwitch是一个观测驱动的相机-激光雷达外参标定框架,将绝对外参恢复与选择性状态维护分离。
研究提出 TaSP-KKT,把 OmniRetarget 逐帧 KKT 条件的连续时间极限建模为机器人构型流形上的 ODE,并用前向离散实现动作重定向。该方法每步只需一次加权切锥投影和闭式流形更新,避免重复的内层 SQP 迭代,数值实验中重定向质量与 OmniRetarget 相当但略低,运行速度约为其两倍。
研究提出关节健康感知强化学习框架,用连续关节健康向量编码执行器状态,并通过 HealthNet 从近期观测和动作估计各关节健康度,让策略在健康与退化关节间重新分配控制力。