OmniVLA导航模型实现实时推理
我们在伯克利的多个研究项目中使用了OmniVLA导航模型。今年早些时候,Noriaki弄清了如何通过边缘+远程推理的组合让它实时运行! https://asyncvla.github.io 明天来看看Noriaki关于此的演讲!
我们在伯克利的多个研究项目中使用了OmniVLA导航模型。今年早些时候,Noriaki弄清了如何通过边缘+远程推理的组合让它实时运行! https://asyncvla.github.io 明天来看看Noriaki关于此的演讲!
作者提出Fast-TD-MPC,一个在快速策略执行与测试时规划之间自适应切换的轻量框架,把昂贵的规划留给最需要的状态。该方法在103个连续控制任务上保持有竞争力的表现,推理速度最高提升约4倍;在外部扰动下会选择性回退到规划,鲁棒性与原规划器相当。
该论文提出自回归策略可通过调整 token 化时域并应用约束解码实现实时执行,从而保证严格延迟上限并支持多轨迹解码。在仿真与真实环境中,该自回归策略在任务完成速度上较同步推理显著提升,并持续优于同级别的流匹配策略。作者指出自回归策略还具备收敛更快、指令跟随泛化更好的固有优势,该工作发表于 CoRL 2026。
Pranjal Aggarwal 与 Sean Welleck 在 arXiv 论文中提出,把具身任务表述为与数字软件的交互:软件将物理环境渲染成屏幕画面并提供操作控制,计算机使用智能体(CUA)用截图和键鼠操作完成任务。
研究将基于 YOLO26n 检测、提示式分割与中弧样条估计的黄瓜长度测量流程部署到 NVIDIA Jetson Orin Nano 和 Raspberry Pi 4,并与 RTX 3050 Ti 工作站对比。
作者提出具身多智能体框架 A2-MEAS,以代码作为扩展接口,将纠错语言、空间证据、执行历史与动作建议组合成纠错代码,训练时由 MetaBrain 提供监督与运行时引导。
推荐理由:该框架以代码作为扩展接口,把纠错语言与执行历史注入策略,并给出跨基准与实机任务的量化对比。
研究提出 VLA Handover 框架,机器人在机载小 VLA(S-VLA)可能失败时才切换到服务器上的大 VLA(L-VLA),且不重新训练任一模型。在 SmolVLA 与 π0.5 于 LIBERO 四个套件中三个的仿真中,成功率比单用 S-VLA 提升 11-22 个百分点,请求数比纯服务器控制少 49-77%,成功率低 2-4 个百分点,完成时间随网络延迟增长更慢。
Lodos 是一个从零设计的仿真框架,用新的宽相、窄相碰撞检测与接触动力学计算,专门处理精细网格间的网格-网格碰撞。作者称其物理保真度与现有成熟仿真器相当,在网格-网格碰撞场景下吞吐量约高一个数量级,源码已公开。该工作针对的是大规模并行刚体仿真中因用球、胶囊、圆柱、盒等基元近似碰撞几何而受限的接触密集场景。
Lodos-v2 是面向大规模并行刚体接触仿真的 GPU 框架,提出在原始形式下依次求解一串凸松弛、并置于外层近端最小化循环中的算法,以求解精确摩擦接触问题。它还把 Lodos-v1 的接触组重参数化方案扩展到锥互补接触动力学的原始形式,使其可与关节限位、焊接等完整仿真器约束整合。实验显示其吞吐量优于既有刚体仿真框架,源码已公开。
ActPrune 提出一种免训练的视觉 token 剪枝方法,把剪枝决策提前到视觉编码器之前,并以上一控制步预测的动作块作为几何先验。该方法在固定第三人称视角保留末端执行器轨迹投影附近的图像块与语义锚点,在腕部视角则剪除补偿动作引起相机运动后仍不变的图像块。
安富利联合国家地方共建人形机器人创新中心出品76页白皮书(2026年8月),以五大功能域和六大核心模块为框架,拆解异构计算负载与平台适配、多轴实时控制、灵巧手集成等10类产业落地挑战。
加州大学伯克利分校与清华大学联合团队发布论文并开源统一机器人 Agent 框架 uni-robot-agent,为通用开源大模型连接仿真环境与真实机器人提供可复用工程基础。
RegimeVGGT 提出一种免训练的逐层压缩方法,在重建质量不变的情况下,相比内存优化版 VGGT* 实现 6.7 倍加速。作者通过谱分析、探针和因果分析发现,VGGT 的浅层缺少跨视图结构,中层负责跨视图对齐,深层对稠密几何冗余,但其跨帧注意力对位姿仍然关键。
作者提出 GPU 加速规划器 cuRoboV2-Fast,用于无碰撞、载荷感知且扭矩受限的运动,通过 B 样条轨迹优化减少迭代次数,并用 TimeOpt 在速度、加速度、加加速度和扭矩约束下优化固定路径的通行速度。
推荐理由:论文给出 GPU 加速的扭矩受限无碰撞规划器,并对比了规划延迟与实机抓放周期,可供关注规划部署效率的读者参考。
该论文对七类 VLA 推理优化方法做了系统测量,覆盖 7 个先进 VLA 模型和从数据中心 H100 到嵌入式 Jetson Thor 的四类 GPU。研究分析了 CPU 启动开销、内存带宽与内核效率如何共同决定优化收益,以及一种方法如何改变另一种方法的效果,并据此提出在延迟预算下叠加优化的 VLA-Triage 指南。
该论文提出一种面向基于特征的双目视觉惯性里程计(VIO)的轻量反光感知前端,实时估计地面高度,只剔除推断三维位置低于估计地面的特征候选。方法用地面区域掩码限定验证范围,以双目高度不确定性和位姿不确定性构造帧级地面高度量测,再用带NIS门控的标量卡尔曼滤波稳定估计,并按不确定性设置安全裕度做选择性剔除。
清华大学与加州大学伯克利分校联合提出并开源跨环境统一的具身智能体harness uni-robot-agent,用于打通不同机器人与仿真环境的工具接口。基于该框架,Qwen3.8-Flash-Next在RoboDojo基准上取得31.39分,超过GPT-6 Astra公开的28.97分,成本约为Astra的1/20。
论文提出执行器感知(AA)观测器输入:高度与姿态观测器使用经假定旋翼模型滤波、并与测量延迟对齐的受限虚拟输入,水平观测器使用由实测姿态重建的加速度。
论文发布一套开源 ROS 2 软件栈,恢复 Franka Emika Panda 的 ROS 2 支持并解决其外部位置控制接口长期不可靠的问题。作者分析认为,振动和保护性停机源于外部控制环时序与采样抖动,而非机器人本体限制,据此提出将实时通信与 ROS 2 控制环解耦的异步硬件接口、面向较慢指令源的速率匹配机制,以及位置域参考生成策略。
作者发布开源 Python 库 Sensorium,基于 ROS 和 ROS2 中间件,从可配置的机器人与传感器数据流中录制、处理、标注并整理多模态手术数据,覆盖操作端采集、可配置处理、语义标注和按片段生成数据集。该库在 1516 次体模、离体和活体猪实验录制上完成评估,涉及多种手术任务与传感配置,并给出初步可用性反馈。
SACQ 是一种面向视觉-语言-动作(VLA)模型的超低比特权重量化框架,结合结构感知码本拟合、动作感知混合比特分配和两阶段量化后精修。
cuPIQP 是一个基于近端内点法的 GPU 批量可微二次规划(QP)求解器,统一支持稠密、稀疏和多阶段问题。在每批最多 16384 个 QP 的基准中,其求解速度最高为 Moreau 的 18.8 倍、八核 PIQP 的 4.26 倍;端到端学习任务中训练加速为 QPAX 的 4.6 倍、Moreau 的 7.8 倍。
作者提出 REA 路由式具身智能体运行时,让负责推理的 System 2、具身路由 System 1 与反应式 System 0 策略在同一运行时协作,核心规则是运行中的策略不等待大脑。
该论文利用串联机器人的高阶运动学导数,提出保形实时数值逆运动学方法,给出四阶与五阶收敛的 QuIK4、QuIK5 求解器。方法还包含沿步长外推雅可比行列式以预测并规避奇异的保形步长限制器,以及用 Hermite 插值验证解保形性的认证器与认证重启算法。作者称相较既有方法失败率最多降低四个数量级,并发布带 ROS 2 集成的 C++ 库。
该论文提出一种体素建图系统,用并行计算同时生成占据栅格地图(OGM)和欧氏距离变换(EDT),并增量构建全局 EDT,为在线运动规划输出高频局部距离信息。系统用 GPU 编程在局部体积内并行计算 EDT,再通过并行波前算法把新观测持续融入全局 EDT,同时保留历史观测。
RTPolicy 是一种多视角视觉运动策略,通过视角感知特征融合与视觉压缩,把多相机信息聚合成紧凑 token 表示,并用流匹配动作生成器降低动作生成开销。在 RoboTwin 2.0 单任务 clean 评测的 50 项任务上,平均成功率为 52.26%,高于榜单最强基线 π0 的 46.4%。
论文提出一种带边界约束的运动学标定方法,用于提升6自由度机器人穿刺引导机械臂的定位精度。该方法用物理合理的参数范围约束一个19参数几何辨识模型,把边界作为主动优化约束以缓解参数耦合与过拟合;仿真中末端执行器RMSE从3.422 mm降至0.690 mm(改善79.8%),台架实验中轨迹验证RMSE为0.865 mm、坐标格点验证RMSE为0.610 mm。
CalibSwitch是一个观测驱动的相机-激光雷达外参标定框架,将绝对外参恢复与选择性状态维护分离。
作者提出开源嵌入式无人机自动驾驶仪 Veloxity,完全用内存安全的 Rust 语言编写,为自主无人机提供最小化、模块化的基础。研究在仿真、硬件测试台和户外航点跟踪飞行中将其与 C++ 编写的同类自动驾驶仪对比,结果显示功能对等且性能更优,表明内存安全语言可用于可靠且高性能的自主航空航天固件。
清华大学、智元与无问芯穹联合提出群体经验学习(CEL)范式,并在 96 台机器人上完成原型验证。在手机包装任务中,训练后策略在两台未参与训练的同型号机器人上完成 120 次测试,成功率从 79.2% 提升至 98.3%,失败次数从 25 次降至 2 次。
无问芯穹联合清华大学、智元提出群体经验学习(CEL)范式,并在96台机器人上完成原型验证。在手机包装任务中,经CEL训练的策略在两台未参与训练的同型号机器人上完成120次测试,成功率从79.2%提升至98.3%;参与学习的机器人从16台增至96台时,测试成功率由86.7%提升至98.3%。
无问芯穹联合清华大学、智元提出群体经验学习(CEL)范式,并在 96 台机器人上完成原型验证。在手机包装任务中,CEL 训练的策略在两台未参与训练的同型号机器人上完成 120 次测试,成功率从 79.2% 提升至 98.3%;参与学习的机器人从 16 台增至 96 台时,测试成功率由 86.7% 提升至 98.3%。
推荐理由:96 台真机集群的容错异步训练与失败引导经验检索,给出了群体经验学习的可复现系统与规模收益数据。
清华大学、无问芯穹与智元联合提出群体经验学习(CEL)范式,让机器人共享同伴的成功经验而非只依赖人类示范,并在96台真实机器人集群中完成验证。两台未参与训练的机器人在插花、叠衣服、手机充电、凳子组装、手机包装五项任务上共测试600次,失败15次,总体成功率97.5%,均超过6名人类操作员的平均水平;手机包装任务成功率从79.2%提升到98.3%。
该研究提出一个语言驱动的导航框架,让移动机器人理解“去邮箱”这类自然语言请求,识别所指物体并用 RGB-D 数据估计其位置,生成导航目标后交由 ROS 2 Nav2 导航栈执行。
作者提出机器人智能体拆解平台 RAPID,集成龙门式工业机械臂、RGB-D 感知和自动拧螺母工具,在完整电动汽车电池包上完成紧固件拆除。开放词汇目标检测达到 0.9757 mAP50;三种一次性紧固件拆除策略中,示教位姿成功率 97%、耗时 24 分钟,一次性视觉执行成功率 57%、耗时 29 分钟,视觉伺服成功率 83%、耗时 36 分钟(n=204)。
ASPEN是一种基于命令持续性预测的事件触发调度器,用于减少导航VLA策略中重复的语义推理调用。在冻结的NaVILA上于跨数据集RxR-CE val-unseen评测中,ASPEN将VLA调用减少9.5%、估计推理时间减少8.1%(含调度开销),并在92.1%的回合中保持与基线完全相同的动作序列。
cuArms 是一个与 GPU 并行协同设计的冲突式规划器,用可复用的多模态 roadmap 分解搜索空间,并通过惰性搜索解决冲突与死锁。它接入高层调度器,联合优化任务分配、调度、运动与操作技能,实验报告了实时初始解以及运动质量和调度上的 anytime 改进,且无需学习方法的领域训练。作者称其在仿真与真实工业任务上均给出演示视频。
FastHarness 是一个经验驱动的机器人执行框架,用 π0.5 生成动作、GPT-6 Astra 审核纠错,按任务阶段和历史审核结果调整审核间隔。在 RoboDojo 的四个模拟操作任务上平均成功率达 97.19%,高于 GPT-as-Policy 报告中 π0.5 + GPT-6 Astra 的 80%。
清华大学智能产业研究院联合清华电子工程系、中国科学技术大学提出OxyGen,通过统一KV Cache管理让具身模型的动作与语言推理共享前缀计算,论文已被NeurIPS 2026接收。
推荐理由:论文给出统一KV Cache管理方案与多平台实测数据,可供端侧具身推理部署参考。
作者提出 ActECC,通过运动学引导的可用范围评估和延迟感知的重规划调度,解决边云协同 VLA 推理中动作块有效范围难确定、重规划请求难调度的问题。实验显示其单动作延迟最多降低 27.4%,云端调用最多减少 45.1%,并降低平均执行误差。