ZeroDex:基于多视角3D接地VLM推理的零样本长程灵巧操作
ZeroDex是一个零样本长程灵巧操作框架,将语言指令从标定的多视角RGB图像接地为可执行的3D任务计划。它利用VLM已有的2D接地能力,通过多视角融合提升到操作所需的度量3D量(接触点、放置目标、工具运动锚点),执行由3D接地驱动而非学习策略,无需为特定任务或本体收集演示或后训练。
ZeroDex是一个零样本长程灵巧操作框架,将语言指令从标定的多视角RGB图像接地为可执行的3D任务计划。它利用VLM已有的2D接地能力,通过多视角融合提升到操作所需的度量3D量(接触点、放置目标、工具运动锚点),执行由3D接地驱动而非学习策略,无需为特定任务或本体收集演示或后训练。
论文提出VLA模型的flow control方法,通过键盘等通用输入实时引导机器人动作,无需重训或微调VLA。该方法将用户输入写入VLA的flow matching动作专家初始条件,利用流的确定性使生成动作既反映用户意图又贴近VLA自身未引导动作。
DEFLECT 是一个离线后训练框架,把预测与执行之间的时序差异转化为偏好监督,让策略在输入过期的情况下仍能做出对齐执行时状态的动作。
研究者提出一套可解释性流程,用于分析微调后的视觉-语言-动作(VLA)策略内部在计算什么。在 pi0.5 上,把任务 A 的激活注入动作专家、同时让策略观看任务 B 场景,99.6% 的回合(n=1968)会执行任务 A 的运动轨迹,说明注入的程序绑定在绝对工作空间坐标上并忽略可见场景。
推荐理由:研究用激活注入拆解 VLA 策略的内部计算,为理解其扰动脆弱性提供了机制层面的解释。
研究团队提出 Kamino,一个基于 GPU 的物理求解器,用 Python 基于 NVIDIA Warp 实现并集成进 Newton 框架,面向具有强耦合运动与动力学约束(如运动回路)的异构机器人系统做大规模并行仿真。
一项针对腿式机器人深度强化学习的研究提出,用少量专家示范数据中学习到的隐动作作为归纳偏置,帮助关节级力矩控制策略更高效地探索。该先验使智能体不受示范奖励水平限制,显著提升迁移任务表现;结合风格奖励进行模仿后,可更贴近专家行为。相关视频已公开。
论文提出一个模型,可为任意给定骨架同时协同生成视频与3D动作,并生成将该动作配准到场景的相机。该模型将3D动作保留在独立模块中以支持任意骨架,通过少量交叉注意力层与预训练视频模型连接,并利用生成式视频编辑器整理出近200K训练对。评测显示其从文本驱动多样骨架动画比视频优先的流程更忠实,动作会响应周围场景,还支持视频转骨架动作、骨架动作转视频以及基于关键帧的3D动作控制。
PUN(Planning Under Noise)是一种神经算子,通过学习噪声感知值场,在未见过的几何环境中实现含控制执行噪声的运动规划。它将障碍物边界条件改为反射型 Neumann 条件、目标处设 Dirichlet 条件,并扩展 Monte Carlo 求解器 Walk on Stars (WoSt) 到高维,从含噪、部分收敛的标签中学习几何到值场的映射。
CoGaussian提出了一种开放词汇的协同语义占据预测框架,用与基础模型对齐的稀疏3D高斯表示场景,作为多智能体间传递与融合几何和语义信息的紧凑表示,不再依赖稠密3D体素标注,也不局限于预定义语义类别。在Semantic-OPV2V基准上,该方法超过了现有开放词汇单智能体方法。
CLOSER 是一个面向目标物体导航(ObjectNav)的证据感知主动验证框架,把停止决策视为闭环证据采集,将视觉语言模型(VVM)验证与主动感知结合。
一项研究提出分布式车队控制器,通过闭环路径建模分析无信号交叉口多车通行的渐近行为,证明在控制器增益的温和条件下,暂态阶段可保证安全通行、稳态下所有车辆以共同恒定速度平滑通过且避免碰撞。该方法区别于传统开路径的双层解耦设计,将交叉口控制与车队收敛耦合分析。有效性已在高保真 CARLA 仿真器中使用多个商用车型模型验证。
针对无人机(UAS)在遥操作或安全机制临时接管后恢复自主导航时碰撞风险上升的问题,研究提出三种中断感知循环强化学习架构,通过独立特征流、专用中断记忆或门控环境特征将中断上下文纳入循环处理。
论文提出 RoboJudge-Bench,用于评估多模态大语言模型(MLLM)作为具身视频生成裁判的可靠性,覆盖物理一致性与指令对齐两个维度,包含来自 8 个源语料库、10 个视频生成器的 800 条人工标注视频,涵盖夹爪、人手和灵巧手。
一项针对9个视觉-语言模型、682张图像和7种评测条件的研究发现,模型的精确计数范围差异近两个数量级(R80从3到150个点)。研究通过免训练智能体循环让模型用图像标记辅助计数,发现该方法作为干预大多失败,但能生成可审计的串行推理痕迹,帮助揭示模型如何得出答案。实验还显示模型在遍历顺序反转时常改变答案,而儿童式的规则排列优势仅在特定条件下出现。
一项在 HighwayEnv 测试台(1Hz,关键对比使用 gpt-4o-mini)上的受控评测显示,闭环 LLM 驾驶智能体中已发表的经验记忆增益主要来自热身池的抽样运气:检索式记忆仅在十个池中的一个池上胜过 No-Memory(符号检验 p=0.011)。
PanoGraphGS 将全景 3D 高斯表示学习与层级 3D 场景图构建整合到一个框架中,在共享高斯几何上学习语义与实例特征,实现跨视角一致的全景预测与新视角全景分割。
论文提出SynCalib数据生成框架,针对基于深度学习的LiDAR-相机在线标定中训练数据外参多样性不足导致的过拟合与泛化差问题,利用带深度真值标注的全景图像数据集,在严格外参约束下合成多模态标定数据。实验表明该流程显著提升学习式标定网络的泛化性与鲁棒性,并在多种相机-LiDAR配置上完成真实世界评测,验证了仅用合成数据训练模型的零样本迁移能力;数据生成代码、预训练模型和在线基准数据集将公开。
OmniVLoc 提出一种基于拓扑-度量框架的全向相机环视视觉定位系统,通过融合全局场景识别与单目深度估计实现多约束定位,并求解尺度感知位姿图与球面光束法平差恢复度量级位姿。系统内置分层校验机制过滤各阶段错误输出以提升鲁棒性,在公开数据集与自建数据集上的实验验证了其精度与可靠性,源码与数据集将在论文发表后公开。
arXiv发布一篇12章、388页、64图的专著《Physical AI: Concepts, Techniques, and Challenges》,将物理AI定义为在现实约束下通过持续反馈感知、建模并作用于物理世界的人工系统,并区分其与数字AI、具身AI、信息物理系统和数字孪生。
论文提出 Latent Projection for Latent Planning,指出潜空间世界模型中规划代价常取预测终态潜变量与目标潜变量的 ℓ2 距离,而潜变量本身含噪声,其来源正是训练时防止坍缩的正则项。
P3L(Preference-PCA Pluralistic Learning)框架通过PCA分解从匿名异构众包反馈中联合学习轨迹嵌入与偏好方向共享基,无需标注者身份即可实现个性化奖励学习与下游策略优化。在多个具身控制任务的实验中,P3L支持可引导的个人对齐,能泛化到离线数据集之外的分布外新用户,取得有竞争力的强化学习与测试性能,同时显著降低计算成本并支持可变的适配查询预算。
针对细圆柱物体表面空间有限、难以布置平面标记的问题,提出一种双色条纹标记,利用圆柱已知曲率提升单目相机位姿测量精度,其中双色边界提供长中心线,圆点与印刷边缘提供不同深度的特征。
AdaDex 是一个目标条件强化学习框架,把几秒的人手-物体轨迹(来自动捕数据或野外 RGB(D) 视频的 HOI 重建)转化为可泛化的灵巧技能。其核心 Hybrid Dexterous Mimicking 在两组大规模并行环境中训练共享策略:带稠密动作跟踪目标的环境注入人体先验,带噪声初始状态与目标、稀疏物体成功奖励的环境迫使技能偏离参考轨迹也能工作。
研究团队提出 UniWALM,一个统一世界-动作-语言模型,在单一共享表示中同时学习视频、动作和语言,每种模态既是条件信号也是监督目标。
Industrial ReMEmbR 是一个共享时空记忆系统,把 NVIDIA ReMEmbR 扩展到机器人机群,通过仅按需生成场景描述来降低服务器端计算。
PhysCanvas 是一个面向接触密集型机器人操作的状态一致视觉触觉世界模型,将多视角 RGB、触觉图像、marker 位移、任务状态与动作统一到同一视觉空间,共享视频 VAE 与预训练生成骨干。
AgenticRoboRL 提出一个跨不同机器人执行机构(harness)后训练机器人规划器的框架,训练配方结合监督微调与多轮强化学习,并通过机构专用适配器把规划器交互记录与任务结果接入统一的 RL 训练管线。
SceneRig 是一个将单张图像转为可编辑、仿真可用场景的智能体系统,结合几何、视觉与物理工具重建 3D 场景,并在物理仿真器内通过编辑-验证循环实现物理稳定。
arXiv 论文提出 MAPLE(Mondrian-Anchored Prior for Learning-free Indoor Exploration),一种免训练的预测式探索方法,将 Mondrian 过程改造为基于当前部分地图几何线索的在线生成先验。
REACT 是一个从人-人演示学习可部署人形机器人-人交互策略的框架,以语义接触结构作为监督信号串联演示处理、交互学习与机载控制。它用 VLM 引导的接触建模与重定向管线识别语义接触并迁移到人形-人几何上,再将特权交互策略蒸馏为完全依赖机载传感的自我中心深度策略,并引入生成式伙伴状态建模目标从遮挡视角预测伙伴运动。
SuperMimic 用一个共享动力学的可微世界模型,在单一训练循环中同时训练世界模型与跟踪策略,通过短想象轨迹上的 backpropagation-through-time 为策略提供解析梯度。
推荐理由:论文给出了用单一可微世界模型替代大规模强化学习训练的具体路径和算力对比数据,可评估其对人形全身控制规模化的影响。
论文提出 FRDV(Fast Retargeting with Dynamics Validation)框架,用于将大规模人体动捕数据快速重定向到不同人形机器人。
作者提出 MARE,一个基于 Unreal Engine 5 和 ROS 2 的开源月球车感知与自主仿真套件,包含地形生成、双物理月球车传感器仿真和 GNC 任务控制三部分。仿真器提供立体、激光雷达、事件和 SPAD 相机数据及像素级真值,低太阳高度角下预测阴影与渲染阴影的平均 IoU 为 0.79。立体深度分析显示阴影区域像素覆盖低于日照区域。
研究提出 GPT-as-Tactile-Policy,将专家演示总结为任务指导与触觉参考,让 GPT-6-Astra 结合多模态观测与交互历史生成控制指令并依据接触反馈调整动作。
Idealworks 与 NVIDIA 在工业移动机器人上系统评测 X-Mobility 与 COMPASS 学习式导航流程的仿真到现实迁移。在数字孪生中结合 Cosmos 生成的 sim-to-real 数据训练后,四个场景的实机成功率从 65.3% 提升到 91.7%,加权行驶时间接近减半,与产线导航栈相差 8.3 个百分点,且全部在机载 Jetson AGX Xavier 上运行。
论文提出 TaskWAM,一个闭环、阶段感知的框架,用 Mode Tokens 表示细粒度任务需求、用 State Tokens 跟踪执行进度,构成结构化任务状态来引导世界-动作模型生成符合当前任务的未来,以解决长程操作中的 Stage Confusion 现象。
研究者提出 CAPSafe 基准,从两个层面评测大语言模型驱动的具身智能体的安全推理能力:动作级数据集判断单个动作在给定环境上下文中是否安全,规划级数据集评估智能体能否为复杂的危险家庭任务生成安全的长程规划。
论文提出 SPAR(Search-trained Push Action Ranker),从模拟搜索结果中学习为推动原语排序,以缓解可移动障碍物间导航(NAMO)中候选动作序列随长度指数增长的问题。
该研究提出强化迭代学习控制(RILC),将迭代学习控制(ILC)与强化学习(RL)耦合,用于弹性关节机器人的轨迹跟踪,解决传统 ILC 需对每条新轨迹单独学习、RL 样本复杂度高且跟踪精度有限的问题。
论文用轻量智能体执行框架系统评测 GPT-6 Astra 的闭环机器人操作能力,发现其在 RoboDojo 上成功率 26.92%、RoboTwin 2.0 上 76.0%,但语义推理与物理执行之间存在明显落差。