状态相关目标协调实现两轮机器人端到端平衡与导航
arXiv 论文提出一种轻量的状态相关目标协调方法,用于两轮倒立摆机器人的端到端平衡与导航。该方法引入俯仰角条件化的标量系数 β(s)∈[0,1],在训练中动态调节平衡稳定与导航目标的相对权重,无需额外控制层级或 PID、LQR 等姿态稳定控制器。
arXiv 论文提出一种轻量的状态相关目标协调方法,用于两轮倒立摆机器人的端到端平衡与导航。该方法引入俯仰角条件化的标量系数 β(s)∈[0,1],在训练中动态调节平衡稳定与导航目标的相对权重,无需额外控制层级或 PID、LQR 等姿态稳定控制器。
SLoSa 是一个神经符号压缩与微调框架,用经典规划器、教师大语言模型和形式化验证器构建安全感知数据集,再经监督微调与基于验证奖励机的强化学习微调,训练小型、低功耗且具备安全意识的机器人任务规划模型。
T-WLA 是一个世界-语言-动作(World-Language-Action)架构,通过共享视觉记忆同时引导动作生成与触觉修正,以应对接触密集操作中接触条件先于视觉策略更新而变化的问题。
VeriCalib 将基于目标的 LiDAR-相机外参标定建模为可验证估计问题,输出标定状态以指示接受结果还是补采数据。它通过结构化协方差解耦旋转与平移精度,指导数据采集向最弱方向补充,并用视图内与跨视图检查及最小可检测偏差界定各方向可发现的最小故障。
该框架用元学习训练的神经网络识别主动引导与被动跟随两种人机交互模式,无需手动设定切换阈值,被动模式识别率从90.1%提升至99.1%,主动模式从79.8%提升至97.1%。自适应元学习控制器可补偿人体扰动并在线适应不同交互力,多轨迹元学习算法联合学习环境基表征与力相关参数以处理未建模动力学,实验验证了其鲁棒控制与可靠模式识别性能。
研究提出两种基于RANSAC的地面法向量估计方法:单帧扫描估计与基于LiDAR-惯性里程计(LIO)全局3D地图的估计,用于球形移动测绘系统(SMMS)的里程计。在多样真实数据集上以地面激光扫描仪真值评估,LIO方法在精度与鲁棒性上显著优于单帧扫描方法。将地面法向量估计融入运动模型可改善位姿估计,支持危险环境下的自主导航。
CondenseVLA 提出在 VLA 策略解码端加入可学习的历史压缩模块,用可学习查询和多头交叉注意力将 VLM 主干缓存的逐帧特征蒸馏为固定数量的槽位令牌,并用辅助正则惩罚槽位注意力图重叠、去相关槽位嵌入以减少冗余。
VLA-Rolling 是一个轻量级推理框架,通过动作尾部继承、逐动作置信度估计以及基于再加噪和去噪步数分配的置信度引导精修三个阶段复用动作尾部,底层 VLA 模型保持冻结。
Thinker-WM 是一个统一多模态世界模型,通过共享的 Unified Dynamics Transformer 联合建模并生成 RGB、度量深度和机器人动作,同一套参数支持视频-动作联合生成、世界预测、策略推理、动作条件生成、视频到动作生成和逆动力学等功能。
论文提出 InteractAgent,一个多模态大语言模型智能体系统,用于长时程人-场景交互,以闭环方式完成规划、执行、观察与反思,由单个 MLLM 同时担任规划器和评估器,冻结的 MotionLLM 作为执行器。
论文提出 FIBER 框架,用冻结行为基础模型(BFM)的可执行隐空间作为异构交互技能的共享规划表示,其隐策略投影(LPP)将独立训练的任务策略映射到该表示,从而实现低频规划并保留 BFM 的高频状态反馈,随后离线训练单一感知流规划器;还提出用多 gamma 前后向学习训练的自适应时域 BFM(AH-BFM)。
ForeTac 是一个面向接触密集操作的预测性接触引导框架,采用表示-预测-评估-引导循环,编码当前触觉状态、按候选动作序列预测未来触觉隐轨迹,并用从成功与失败物理交互中学到的接触质量目标评估每条轨迹;推理时该目标的梯度反向传播穿过触觉预测器,在执行前引导动作生成,且所有模型参数保持冻结。
该论文提出一套端到端流程,用安装在标准腹腔镜器械杆上的器械状态记录仪(结合惯性传感器、飞行时间传感器和霍尔传感器,无需外部相机或追踪器)采集外科医生操作时的器械位姿与钳口状态,用于训练手术机器人策略并在活体动物上验证。
DEFLECT 是一个离线后训练框架,把预测与执行之间的时序差异转化为偏好监督,让策略在输入过期的情况下仍能做出对齐执行时状态的动作。
论文提出一个模型,可为任意给定骨架同时协同生成视频与3D动作,并生成将该动作配准到场景的相机。该模型将3D动作保留在独立模块中以支持任意骨架,通过少量交叉注意力层与预训练视频模型连接,并利用生成式视频编辑器整理出近200K训练对。评测显示其从文本驱动多样骨架动画比视频优先的流程更忠实,动作会响应周围场景,还支持视频转骨架动作、骨架动作转视频以及基于关键帧的3D动作控制。
PUN(Planning Under Noise)是一种神经算子,通过学习噪声感知值场,在未见过的几何环境中实现含控制执行噪声的运动规划。它将障碍物边界条件改为反射型 Neumann 条件、目标处设 Dirichlet 条件,并扩展 Monte Carlo 求解器 Walk on Stars (WoSt) 到高维,从含噪、部分收敛的标签中学习几何到值场的映射。
论文提出SynCalib数据生成框架,针对基于深度学习的LiDAR-相机在线标定中训练数据外参多样性不足导致的过拟合与泛化差问题,利用带深度真值标注的全景图像数据集,在严格外参约束下合成多模态标定数据。实验表明该流程显著提升学习式标定网络的泛化性与鲁棒性,并在多种相机-LiDAR配置上完成真实世界评测,验证了仅用合成数据训练模型的零样本迁移能力;数据生成代码、预训练模型和在线基准数据集将公开。
AdaDex 是一个目标条件强化学习框架,把几秒的人手-物体轨迹(来自动捕数据或野外 RGB(D) 视频的 HOI 重建)转化为可泛化的灵巧技能。其核心 Hybrid Dexterous Mimicking 在两组大规模并行环境中训练共享策略:带稠密动作跟踪目标的环境注入人体先验,带噪声初始状态与目标、稀疏物体成功奖励的环境迫使技能偏离参考轨迹也能工作。
REACT 是一个从人-人演示学习可部署人形机器人-人交互策略的框架,以语义接触结构作为监督信号串联演示处理、交互学习与机载控制。它用 VLM 引导的接触建模与重定向管线识别语义接触并迁移到人形-人几何上,再将特权交互策略蒸馏为完全依赖机载传感的自我中心深度策略,并引入生成式伙伴状态建模目标从遮挡视角预测伙伴运动。
论文用轻量智能体执行框架系统评测 GPT-6 Astra 的闭环机器人操作能力,发现其在 RoboDojo 上成功率 26.92%、RoboTwin 2.0 上 76.0%,但语义推理与物理执行之间存在明显落差。
论文提出一个两阶段框架,从多视角视频片段中学习互补的预测表征以增强具身操作策略。预训练阶段用冻结的3D基础模型提供稠密几何特征,压缩为预测几何表征并优化以保留场景结构及其时序演化,再对几何转变施加动作监督以提取强调动作相关转变的运动表征;下游后训练阶段通过几何查询迁移预测几何,运动表征引导动作生成路径上的中间特征,未来观测仅作为训练期特权监督,推理时不需要。
提出自监督方法概率可达-规避值函数(PVF),用于在随机、可能无界的扰动下计算机器人任务的可达-规避集,适用于黑箱系统。在复杂度递增的系统上与基于Hamilton-Jacobi可达性(HJR)的基线对比,直至Hopper运动任务,结果显示当扰动非对抗性时,PVF的概率可达-规避集比对抗性HJR集更不保守、更准确。该方法已投稿至ICRA 2027。
arXiv 论文提出 LocoPilot,一个部署在 12 自由度 Unitree Go2 四足机器人(搭载 6 自由度 AgileX Piper L 机械臂、Intel RealSense D435 腕部相机与 D405 头部相机)上的单操作员双边遥操作与数据采集框架。
一项研究提出面向眼科机器人的高精度远心运动(RCM)伺服架构,通过层级QP控制器与权限引导恢复规划,解决RCM与末端跟踪目标冲突导致的伺服振荡问题。在200场景运动学基准测试中,该方案对128个近奇异目标实现100%到达率,对72个近关节极限目标实现99%到达率,软件RCM残差低于0.142 mm。
该论文提出一种可摄取同步多相机视角的隐动作模型(LAM),通过交叉注意力解决深度与遮挡问题,再压缩为隐动作并输入由潜在专家与动作专家在冻结VLM骨干上通过序列流匹配耦合的策略。
一种正交残差学习方法通过零空间参数化将模型修正器约束为与侧偏刚度灵敏度正交,避免修正器吸收刚度变化信息而抑制在线自适应。在全车仿真中,该方法将侧偏角误差降低12.7%至22.0%,且在刚度阶跃变化时保持与无修正滤波器同等的自适应速度。在公开实车数据上,430参数的正交修正器比同规模无约束修正器保留了更多对名义刚度偏移的响应。
论文定义了视觉-语言-动作(VLA)模型的故障归因问题,即在多个视觉损坏共存时判断哪些损坏贡献了失败风险、移除它们能带来多大收益。作者提出一种分解式风险模型,分别学习场景与损坏的表征,仅从当前图像和任务指令通过潜变量干预估计移除收益,无需配对干净图像或额外反事实回滚。
arXiv:2610.27275研究了点云配准中最大团与最大一致性两种鲁棒配准形式化的关系,证明最大团解的对齐误差可任意大、集合规模可远超最大一致性集,并推导了界定该误差的几何条件。在旋转固定时给出平移子问题的精确误差界与判别测试。研究还确定了group-k一致性中保证误差界与点云尺度无关的最小分组大小:d≥2维时旋转与平移为d+1,允许反射时为d+2;交互示例与Lean定理证明器验证已公开。
一项面向自闭症谱系障碍(ASD)教育的方法让配备摄像头的 Nao 机器人通过视觉大语言模型,将 Shoebox Task 的照片转换为 Planning Domain Definition Language(PDDL)表示并生成动作计划,自主执行任务、提示下一步或通过动作演示、语音与手势报告失败。
论文提出 LaLa-World,一种语言条件化的潜在世界模型(LWM),可从仿真与机器人轨迹以及更广泛的图像、视频数据中联合学习。其关键设计是用语言同时描述数值动作和视觉变化,从而在异构数据集上训练单一未来预测器,并将预测器构建在语言模型之上以解释语言条件。
NASA 研究人员与帝国理工学院、名古屋大学合作,设计出名为 roamx-0201 的新型火星直升机旋翼叶片翼型,经高保真仿真与风洞测试,有望将单次不间断飞行距离从 Ingenuity 的 0.7 公里提升至最多 18.7 公里(同时携带科学仪器)。
Ropedia 发布开放世界模型 W0,用约 10,000 小时第一人称人类视频训练,一套权重可预测人类、机械臂和人形机器人(Unitree G1、Fourier GR-1)的第一人称视角,采用共享的相机加骨骼表示,接入新机器人只需其 URDF。
推荐理由:原文给出了训练数据规模、跨本体迁移方式和实测对比,读者可据此判断该世界模型对机器人策略训练流程的实际影响。
研究提出 AnyGoal 基准与开源库,用于评测世界模型在目标偏移任务变体上的组合泛化能力。任务设计保证单个状态因子和动作仍在训练支持范围内,但其组合在专家轨迹中代表性不足。跨多个环境和世界模型家族的实验显示,当前模型在这些重组情形下普遍出现失败,作者进一步分析了动力学与表征层面的失效位置。
EgoXperience 提出一套覆盖数据采集、自动标注、统一建模与基准评测的完整方案,用于从第一人称视频联合重建观察者运动、场景几何与手-物交互。其核心是自动标注引擎 EgoXX-Engine,将几何校验的目标跟踪与基于 SLAM 的世界对齐结合,产出 50 小时数据集 EgoX-Data-6M(含秒级任务描述)和 1 小时评测集 EgoX-Bench。
ScaleNav 提出一个统一的世界-动作框架,通过三阶段训练实现语言条件下的局部导航:先在互联网第一视角视频上做指令条件视频预训练,学习观测如何随相机接近目标而演化,再用带动作标注的仿真数据对齐预测可执行动作块,最后联合微调全部可训练组件。
10月16日,由智元、NVIDIA、普林斯顿大学、得克萨斯大学奥斯汀分校、多伦多大学研究人员联合完成的动作驱动世界模型评测平台 WorldOracle 正式发布,并向开发者开放评测提交。
推荐理由:该评测用真实执行记录逐帧对照世界模型预测,揭示了机械臂运动被复刻但物体状态被系统性脑补的普遍问题,为判断模型可用性提供了具体坐标。
荷兰代尔夫特理工大学团队在《科学·机器人》发表自主飞行系统MonoRace,其在2025年阿布扎比无人机竞速赛中以每小时100公里最高时速击败多支AI队伍及3位人类世界冠军。
GroundingPI 是一个 4B 参数的定位基础模型,将点和框以量化坐标形式输出到共享词表,训练结合多模态与空间预训练、监督微调和 GRPO 强化学习。在 34 个定位基准、44 个基线上平均达到 73.68%,高于 GPT-6 Astra 的 71.54%。
NEXUS 是一个模块化神经符号框架,同时维护 PDDL 动作域模型与 LTL 安全规范:执行失败用于修复动作模式,检测到的危险则通过分层语义与翻译采样及等价共识转化为可复用的 LTL 约束。
ECCV 2026 接收论文提出 UniWM,一个将第一人称视觉前瞻与规划统一在单一多模态自回归骨干中的记忆增强世界模型,使动作选择基于视觉想象结果,实现预测与控制的紧密对齐。