NVIDIA 联合韩国企业推进物理 AI,LG CLOiD 在真实制造环境完成 GR00T 操作演示
NVIDIA 与韩国多家行业龙头合作推进物理 AI 落地,覆盖半导体制造、自动驾驶和机器人。LG 电子与 NVIDIA 在真实制造环境中用 Isaac GR00T 驱动 CLOiD 机器人完成操作与制造任务,并搭建了连接真实数据采集、Cosmos 数据增强、GR00T 模型训练、Jetson AGX Thor 端侧计算和仿真评估的数据闭环。
NVIDIA 与韩国多家行业龙头合作推进物理 AI 落地,覆盖半导体制造、自动驾驶和机器人。LG 电子与 NVIDIA 在真实制造环境中用 Isaac GR00T 驱动 CLOiD 机器人完成操作与制造任务,并搭建了连接真实数据采集、Cosmos 数据增强、GR00T 模型训练、Jetson AGX Thor 端侧计算和仿真评估的数据闭环。
我们在伯克利的多个研究项目中使用了OmniVLA导航模型。今年早些时候,Noriaki弄清了如何通过边缘+远程推理的组合让它实时运行! https://asyncvla.github.io 明天来看看Noriaki关于此的演讲!
周二来 CoRL 看 RLT 的报告!Charles 将讲解如何用样本高效的真实世界强化学习来适配 VLA 模型。
论文识别并形式化了物理误泛化问题:生成式序列模型用于物理域运动规划时,单条轨迹看似合理,但物理量(如行程距离、机械能)的总体分布与数据意图不符。作者用数据偏差核估计模型类别的局部误差,并预测扩散序列模型在玩具与应用轨迹生成任务中哪些物理量取值会增减。基于该机制,论文比较了修改数据集与生成接口的干预,并提出变换生成器学习与采样坐标系来减少物理量漂移。
RigidFormer 是一个以物体为中心的 Transformer 模型,可从点云等无网格输入学习刚体动力学,并支持可控积分步长。它用紧凑锚点推进每个物体,通过 Anchor-Vertex Pooling 补充局部顶点特征,并用可微 Kabsch 对齐把更新投影到刚体流形上。
BLaFA 提出一个语言驱动的功能灵巧抓取框架,把自然语言指令转换为操作约束语义六元组,并定位3D功能接触关键点,再映射为手腕位姿与手指关节和力指令。研究在100条开放词汇指令、覆盖四类功能意图的14组任务-工具组合以及真实机器人实验中验证了该框架。代码将公开。
论文分析前向-后向(FB)表征中连续环境高秩转移动态与低秩瓶颈之间的谱失配,提出用时间抽象缓解该问题。作者从转移算子的谱性质出发,说明时间抽象相当于低通滤波器,抑制高频分量、降低后继表示的有效秩,同时保持值函数误差的正式界。实验显示这种对齐是高折扣因子下稳定 FB 学习的关键因素。该工作已被 NeurIPS 2026 接收。
DexHOT 将灵巧操作表述为手物构型迁移,从合成可行构型对中学习可复用的关系条件迁移原语,无需人类参考动作。在包含 120 个物体的 DexHOTBench 上,单一策略对已见物体迁移成功率为 80.5%、未见物体为 69.4%;在真实灵巧手上完成 200 次迁移,成功率 61.5%,六个示范引导任务的任务成功率为 90%。
作者提出 behavior graphs,将策略 rollout 压缩为一张可解释的有向图,通过识别相似行为模式、按时间连接并关联结果来构建。
RoboFQE 提出一种基于离线轨迹的视觉机器人策略评估器,无需真实执行、仿真器或世界模型推演即可估计目标策略的折扣期望回报。该方法将拟合 Q 评估与预训练视觉基础模型、学习式终止成功标注结合,在仿真与真实操作任务中给出较准确的回报估计并保持策略排序,在视频世界模型评估器受自回归预测误差影响的长时程任务上依然有效。
作者提出 LeWAM,一个在无解码器 JEPA 潜空间上端到端训练的双向 Transformer,同时支持前向、反向、逆动力学与策略预测四种模式。线性探针实验显示,LeWAM 潜空间读取机器人与物体状态优于仅前向的 Le World Model,且对视觉干扰的忽略程度与 LeWM 相当、明显优于基于重建的 WAM。
VOMMI 是一个可携带演示采集与学习框架,通过离线轨迹重建和在线视觉-运动条件化,把可携带 RGB 演示接入 VLA 后训练。R2-VO 用稀疏几何锚点精修轨迹,使身体与手部流绝对轨迹误差平均降低 24.6%;仅用可携带演示后训练的策略,基座速度误差比用机器人采集演示训练的策略低 18.2%,末端执行器平移精度相当。
作者提出Fast-TD-MPC,一个在快速策略执行与测试时规划之间自适应切换的轻量框架,把昂贵的规划留给最需要的状态。该方法在103个连续控制任务上保持有竞争力的表现,推理速度最高提升约4倍;在外部扰动下会选择性回退到规划,鲁棒性与原规划器相当。
CompVLA 是一个统一的视觉-语言-动作(VLA)框架,可从 RGB 和语言输入联合预测运动与刚度矩阵。它在常规架构上增加专门的 Compliance Expert,输出时变刚度和虚拟位移曲线,并通过几何阻抗控制执行。
研究构建仅含平面、物体和方块手的几何视觉预训练数据集,轨迹自动生成,场景无纹理与背景,让策略先接触手与物体的几何关系。作者用 ACT 在三个仿真机器人各五项操作任务及三个真实机器人任务上评估,多数组合中从几何先验微调在训练早期成功率高于从零训练,且只需少量任务示教。结果表明高度简化的几何场景也能提供跨机器人、迁移到真实任务的初始化。
一款软体机器人鼓手通过 Tap-Pull(TP)与 Micro-Pulse(MP)两种技巧实现高频鼓滚奏,并借助贝叶斯优化在数据驱动下分别调参。软体 TP 每次击打获得最高 12.25 次反弹且间隔均匀;软体 MP 抑制音量衰减,声学效率为刚性 MP 的 6.8 倍。研究对比了软体与刚性末端执行器,成果发表于 AIM 2026。
作者提出 LAG-Fusion,一个面向异步多模态扩散策略组合的延迟感知引导融合框架,允许各模态策略按自身推理速率运行,并在有输出时提供去噪引导。为保持异步组合一致,作者在相对动作表示下推导了扩散变量的参考系重基规则,使延迟到达的引导在融合前完成对齐。作者在接触密集操作中把低频视觉策略与高频力策略组合,异构模态延迟实验显示其响应性与任务表现优于同步融合和专门设计的力感知基线。
EvoPlan 提出一种神经符号规划框架,以符号有效性和从数据中学到的约束作为保证,并可在本地部署的开源权重模型上运行。
NoContactNoWorries 提出一个基于 Transformer 的多模态框架,融合 RGB-D 视觉与机器人本体感知,推断手与物体交互的二值接触状态,作为伪触觉信号。作者在多个物体上训练单一接触预测模型,并验证该推断信号可支撑下游强化学习智能体完成手内物体重定向,且能泛化到新物体。仿真与真实机器人实验均验证了从视觉和本体感知推断接触的可行性,论文已被 IROS 2026 接收。
作者提出 DexTeleop-0 双臂灵巧遥操作框架,用指尖触觉反馈在人类跟踪指令上叠加机器人侧接触修正,以缓解运动学映射误差和仅靠视觉无法调节接触力的问题。该方法通过接触刚度近似与运动学雅可比实时计算局部修正,并加入逐接触力跟踪、预测接触力矩软正则和有界手部关节残差。
该论文提出自回归策略可通过调整 token 化时域并应用约束解码实现实时执行,从而保证严格延迟上限并支持多轨迹解码。在仿真与真实环境中,该自回归策略在任务完成速度上较同步推理显著提升,并持续优于同级别的流匹配策略。作者指出自回归策略还具备收敛更快、指令跟随泛化更好的固有优势,该工作发表于 CoRL 2026。
MosaicIMU 是一个以载体为条件的混合专家(MoE)预训练与适配框架,用于可泛化的神经惯性里程计。它通过基于原型的路由器组合载体专属专家特征,解码局部速度与不确定性约束,并与历史感知 EKF 结合;面对未见域时冻结预训练基座、学习轻量专家残差分支,边缘部署时复用路由器挑选在线样本做增量更新。
CLAW 是一个全端到端自监督框架,可直接从无动作标注的视频中联合学习世界模型与连续潜在动作表示。它用对抗式潜在正则化防止潜在变量编码未来观测,使潜在变量捕捉动作结构,并以扩散模型把环境动态建模为未来观测的分布而非单次确定性推演。作者称该潜在动作世界模型支持从观测做模仿学习与目标导向规划,并在多任务、多本体实验中优于现有方法。
研究提出学习增强机器人自动化(Learning-Augmented Robotic Automation)混合系统,将学习型任务控制器与神经三维安全监控器接入传统工业流程,在电机产线自动完成柔性线缆插入与焊接。每项任务仅用不到20分钟真实数据,系统在无物理围栏条件下连续运行5小时10分钟,生产108台电机,产品级质检通过率99.4%,节拍接近人工且循环时间波动更小,焊点质量与熟练操作员相当。
推荐理由:论文给出学习增强工业自动化在真实产线连续运行5小时10分钟、108台电机99.4%合格率的数据,可作为学习控制进入制造的落地参照。
作者提出视觉学习距离(VLD)框架,将图像目标导航的感知学习与策略学习解耦:先在约3000小时互联网与仿真视频上自监督训练距离到目标预测器,再在仿真中用GeoNoise扰动特权几何距离训练强化学习策略,部署时零样本使用VLD预测。
ManiTaskGen 是一个可为任意给定场景自动生成全面、多样且可行的移动操作任务的系统,任务同时包含过程式具体指令(如把物体从 X 移到 Y)和结果式抽象指令(如表清空)。作者在仿真和真实场景中验证了生成任务的有效性与多样性,并用这些任务自动构建基准,通过接地技能接口评测基于现有视觉语言模型(VLM)的智能体的高层具身决策,还提出一种利用这些任务提升具身决策的简单方法。代码已公开。
Sketch-MoMa 提出一种以用户手绘草图为指令的移动操作机器人遥操作方案,利用视觉语言模型(VLM)理解叠加在观测图像上的草图,推断所画形状与机器人底层任务。
Pranjal Aggarwal 与 Sean Welleck 在 arXiv 论文中提出,把具身任务表述为与数字软件的交互:软件将物理环境渲染成屏幕画面并提供操作控制,计算机使用智能体(CUA)用截图和键鼠操作完成任务。
Augmentron 是一个几何感知的数据增强管线,通过生成可复用的场景表示并按录制的相机位姿渲染,产出在时间和多视角上一致的环境与工作空间变化,同时保留机器人、任务物体、动作和标注。
Flex-RSI 是一个在固定预算下评测智能体递归自我改进能力的基准,覆盖感知、推理、机器人动作、三维重建、视觉创作与基础设施任务。每轮中执行器改进任务解,仅在留出验证数据上得分更高时保留,改进器再修改包含执行器与自身的执行框架,最终解在隐藏测试数据上评分。
针对PPO对所有样本使用固定裁剪区间、无法区分极端重要性比值与可容忍大幅变化的问题,作者提出Ordered Policy Optimization(OPO):在每个minibatch内对重要性比值排序,选出对更新影响最大的极端比值,按预设尾部轮廓为其分配自适应逐样本裁剪半径,目标函数仍为一阶且只需minibatch排序与修改后的策略损失。
HaNDF 提出以物体为条件的神经距离场,作为手物交互中合理手部构型的数据驱动先验,将合理关节姿态表示在条件场的零水平集上。作者借助黎曼几何工具把给定姿态投影到该场,并可反向优化推断交互物体。论文称该先验适用于姿态细化、遮挡下重建与物理合理的操作合成,已被 NeurIPS 2026 接收。
Open-HumanWAM 发布首个完全开放的 5 万小时第一视角人类视频预训练方案,核心是带手部动作与自然语言标注的 Open-HumanWAM-50K 语料。
论文提出智能体式操作策略(AMP),由通用 AI 模型直接控制机械臂并随任务推进调整动作,作者给出的参考实现 AMP1 在单臂、双臂和移动操作上无需改动即可运行。
推荐理由:论文给出通用 AI 模型直接控制机械臂的零样本成功率与实机试验数据,可与 VLA、WAM 专门策略对照。
Haitham El-Hussieny 提出用约束移动地平线估计(MHE)仅凭肌腱测量定位肌腱驱动连续体机器人的接触位置。作者证明接触力到肌腱测量的映射零空间维度至少为七,自由接触支撑下无法定位接触;已知障碍几何时,非穿透与互补条件使接触力局部可辨识,并证明系统局部指数强可检测。
作者提出 Grasp-TAGS,一个面向目标条件大物体重排的任务感知抓取选择框架,在多个初始抓取配置上训练统一的 PPO 强化学习策略,并把学到的 critic 蒸馏成轻量抓取效用网络,仅凭候选抓取配置与目标信息对候选抓取排序,在接触前选出预测下游效用最高的抓取。
作者提出 Seeing What Matters 基准,用于在仿真桌面操作中评测任务条件的可操作空间信念,覆盖咖啡工作站、抽屉柜和微波炉三类场景共 860 个冻结评测用例,扩展后超过 115000 个评测回合。
作者提出蛇形机器人 COBRA 的闭环全身移动操作方案,不区分推进与操作部件,身体任意部位都可接触物体。研究在 Moreau-Jean 时间步进框架下建立统一机器人-地面、机器人-物体与物体-地面交互的接触隐式动力学模型,并结合几何规划器与比例控制器做全阶动力学轨迹优化,在侧向蜿蜒运动中自主将物体推至目标位置。方案已在多种配置的硬件上验证规划器与控制器,并给出简化轨迹优化的仿真结果。
SURE 是一个数据高效的视觉-语言-动作(VLA)训练框架,通过轻量转置卷积概率动作解码器建模空间不确定性,并用 Soft-DTW 对齐监督适应演示中的时间差异。在 LIBERO、RoboTwin 2.0 和真实操作任务上,仅用 10% 示教数据或 20% 训练步数,SURE 的操作成功率即可匹配或超过基线 VLA。
研究将粒子图像测速(PIV)的相机布位建模为序列决策问题,训练强化学习智能体控制搭载相机的 6 自由度机械臂,在水洞中定位、取景并解析水翼尾流。智能体仅通过时间分离图像对估计的速度场与不确定性观察场景,全部在基于 CFD 生成不同翼型、位置和攻角尾流的光真实感仿真中训练。