在代码空间中搜索策略解决多智能体路径规划
论文提出由人类引导、让编码智能体在代码空间中迭代提出、实现、评估、诊断并改进算法的多智能体路径规划策略搜索工作流,结合仿真反馈与显式正确性验证。
论文提出由人类引导、让编码智能体在代码空间中迭代提出、实现、评估、诊断并改进算法的多智能体路径规划策略搜索工作流,结合仿真反馈与显式正确性验证。
论文提出 InteractAgent,一个多模态大语言模型智能体系统,用于长时程人-场景交互,以闭环方式完成规划、执行、观察与反思,由单个 MLLM 同时担任规划器和评估器,冻结的 MotionLLM 作为执行器。
论文提出一种基于 Denavit-Hartenberg 约定的动态相机-IMU 外参标定方法,通过引入机器人运动学模型实现时变外参的在线估计。配套的两步初始化策略可高效估计初始关节角,为后续外参参数优化提供可靠起点。仿真实验表明,该框架能有效适应相机-IMU 外参变化,同时保持有竞争力的定位精度。
论文提出 FIBER 框架,用冻结行为基础模型(BFM)的可执行隐空间作为异构交互技能的共享规划表示,其隐策略投影(LPP)将独立训练的任务策略映射到该表示,从而实现低频规划并保留 BFM 的高频状态反馈,随后离线训练单一感知流规划器;还提出用多 gamma 前后向学习训练的自适应时域 BFM(AH-BFM)。
FastVLA 提出一种免训练、任务感知且时间自适应的视觉 token 压缩框架,用于提升视觉-语言-动作(VLA)模型的闭环推理效率。它通过任务到视觉的注意力为 token 打分,并依据重要性分布的均匀性(用逆 Simpson 指数和在线滑动窗口校准)自适应设置压缩率。
ForeTac 是一个面向接触密集操作的预测性接触引导框架,采用表示-预测-评估-引导循环,编码当前触觉状态、按候选动作序列预测未来触觉隐轨迹,并用从成功与失败物理交互中学到的接触质量目标评估每条轨迹;推理时该目标的梯度反向传播穿过触觉预测器,在执行前引导动作生成,且所有模型参数保持冻结。
该学位论文用离线训练的神经隐式表示,把 Hamilton-Jacobi(HJ)可达性分析的值函数实时提供给基于优化的控制器,解决未知动态环境中几何碰撞检查不足的问题。
该论文提出一套端到端流程,用安装在标准腹腔镜器械杆上的器械状态记录仪(结合惯性传感器、飞行时间传感器和霍尔传感器,无需外部相机或追踪器)采集外科医生操作时的器械位姿与钳口状态,用于训练手术机器人策略并在活体动物上验证。
论文提出一个概念验证框架,将机器人非线性动力学纳入设计流程,使多步态运动能够从重力、惯性和弹性塑造的非线性共振中涌现。作者介绍高柔顺四足机器人eBert,用新理论工具辨识出六个非线性正规模态(NNM),并在仿真和硬件中验证其存在。通过黑盒优化确定步长,仿真显示每个NNM自然发展为不同步态并呈现不同速度,且大部分可迁移到实机硬件。
该论文提出在分配零空间中通过二次规划在力矩层执行控制障碍函数,将过驱动多旋翼的控制权限保持为前向不变量。在六旋翼与全驱动八旋翼仿真中,300 次随机任务里贪婪最大化方案在权限稀缺任务中最高 51% 违反认证下限,而所提滤波器从未离开认证集,最难的力矩反转场景中力矩误差小 79 倍;鲁棒变体在全部 150 个扰动对象上保持下限。
论文提出 WorldScape Policy 2.0,一种带推理增强长短期记忆的可控世界动作模型(WAM)。其因果短期视觉记忆将近期观测作为 DiT 预填以保留局部交互动态,长期事件记忆则把历史 VLM 输出组织为全局历史、局部活跃与事件边界表示,用于进度感知检索并生成隐式子目标条件。
论文提出模块化方法,在接触密集任务的局部区段自主采集数据并用离线强化学习训练局部策略,再与传统运动规划集成完成长时程装配任务。在四个真实任务中仅用2-2.5小时自主采集数据,长时程任务平均成功率达96%,规划-only基线为55%,最强端到端基线为37%;局部策略还将施加力降低49%。在场景级分布外场景下性能保持在90%,共完成超过1500次真实评测rollout。
PAKE 提出一种全身移动操作控制框架,将问题分解为部分参考运动生成与底层模仿控制,引入在大规模运动生成数据集上训练的 Kinematic Normalizing Flow(KNF)模型生成多样的部分运动参考,高层控制器在 KNF 潜空间中导航以利用冗余解,低层控制器学习动力学一致的动作执行。
论文提出 KITE(Kinematic Interaction Transfer across Embodiments),将操作拆分为与本体无关的交互意图预测和与本体相关的运动学解码,两者通过基于接触模式的交互意图表征连接。
ZeroDex是一个零样本长程灵巧操作框架,将语言指令从标定的多视角RGB图像接地为可执行的3D任务计划。它利用VLM已有的2D接地能力,通过多视角融合提升到操作所需的度量3D量(接触点、放置目标、工具运动锚点),执行由3D接地驱动而非学习策略,无需为特定任务或本体收集演示或后训练。
论文提出VLA模型的flow control方法,通过键盘等通用输入实时引导机器人动作,无需重训或微调VLA。该方法将用户输入写入VLA的flow matching动作专家初始条件,利用流的确定性使生成动作既反映用户意图又贴近VLA自身未引导动作。
DEFLECT 是一个离线后训练框架,把预测与执行之间的时序差异转化为偏好监督,让策略在输入过期的情况下仍能做出对齐执行时状态的动作。
研究者提出一套可解释性流程,用于分析微调后的视觉-语言-动作(VLA)策略内部在计算什么。在 pi0.5 上,把任务 A 的激活注入动作专家、同时让策略观看任务 B 场景,99.6% 的回合(n=1968)会执行任务 A 的运动轨迹,说明注入的程序绑定在绝对工作空间坐标上并忽略可见场景。
推荐理由:研究用激活注入拆解 VLA 策略的内部计算,为理解其扰动脆弱性提供了机制层面的解释。
研究团队提出 Kamino,一个基于 GPU 的物理求解器,用 Python 基于 NVIDIA Warp 实现并集成进 Newton 框架,面向具有强耦合运动与动力学约束(如运动回路)的异构机器人系统做大规模并行仿真。
一项针对腿式机器人深度强化学习的研究提出,用少量专家示范数据中学习到的隐动作作为归纳偏置,帮助关节级力矩控制策略更高效地探索。该先验使智能体不受示范奖励水平限制,显著提升迁移任务表现;结合风格奖励进行模仿后,可更贴近专家行为。相关视频已公开。
论文提出一个模型,可为任意给定骨架同时协同生成视频与3D动作,并生成将该动作配准到场景的相机。该模型将3D动作保留在独立模块中以支持任意骨架,通过少量交叉注意力层与预训练视频模型连接,并利用生成式视频编辑器整理出近200K训练对。评测显示其从文本驱动多样骨架动画比视频优先的流程更忠实,动作会响应周围场景,还支持视频转骨架动作、骨架动作转视频以及基于关键帧的3D动作控制。
PUN(Planning Under Noise)是一种神经算子,通过学习噪声感知值场,在未见过的几何环境中实现含控制执行噪声的运动规划。它将障碍物边界条件改为反射型 Neumann 条件、目标处设 Dirichlet 条件,并扩展 Monte Carlo 求解器 Walk on Stars (WoSt) 到高维,从含噪、部分收敛的标签中学习几何到值场的映射。
CoGaussian提出了一种开放词汇的协同语义占据预测框架,用与基础模型对齐的稀疏3D高斯表示场景,作为多智能体间传递与融合几何和语义信息的紧凑表示,不再依赖稠密3D体素标注,也不局限于预定义语义类别。在Semantic-OPV2V基准上,该方法超过了现有开放词汇单智能体方法。
CLOSER 是一个面向目标物体导航(ObjectNav)的证据感知主动验证框架,把停止决策视为闭环证据采集,将视觉语言模型(VVM)验证与主动感知结合。
一项研究提出分布式车队控制器,通过闭环路径建模分析无信号交叉口多车通行的渐近行为,证明在控制器增益的温和条件下,暂态阶段可保证安全通行、稳态下所有车辆以共同恒定速度平滑通过且避免碰撞。该方法区别于传统开路径的双层解耦设计,将交叉口控制与车队收敛耦合分析。有效性已在高保真 CARLA 仿真器中使用多个商用车型模型验证。
针对无人机(UAS)在遥操作或安全机制临时接管后恢复自主导航时碰撞风险上升的问题,研究提出三种中断感知循环强化学习架构,通过独立特征流、专用中断记忆或门控环境特征将中断上下文纳入循环处理。
论文提出 RoboJudge-Bench,用于评估多模态大语言模型(MLLM)作为具身视频生成裁判的可靠性,覆盖物理一致性与指令对齐两个维度,包含来自 8 个源语料库、10 个视频生成器的 800 条人工标注视频,涵盖夹爪、人手和灵巧手。
一项针对9个视觉-语言模型、682张图像和7种评测条件的研究发现,模型的精确计数范围差异近两个数量级(R80从3到150个点)。研究通过免训练智能体循环让模型用图像标记辅助计数,发现该方法作为干预大多失败,但能生成可审计的串行推理痕迹,帮助揭示模型如何得出答案。实验还显示模型在遍历顺序反转时常改变答案,而儿童式的规则排列优势仅在特定条件下出现。
一项在 HighwayEnv 测试台(1Hz,关键对比使用 gpt-4o-mini)上的受控评测显示,闭环 LLM 驾驶智能体中已发表的经验记忆增益主要来自热身池的抽样运气:检索式记忆仅在十个池中的一个池上胜过 No-Memory(符号检验 p=0.011)。
PanoGraphGS 将全景 3D 高斯表示学习与层级 3D 场景图构建整合到一个框架中,在共享高斯几何上学习语义与实例特征,实现跨视角一致的全景预测与新视角全景分割。
论文提出SynCalib数据生成框架,针对基于深度学习的LiDAR-相机在线标定中训练数据外参多样性不足导致的过拟合与泛化差问题,利用带深度真值标注的全景图像数据集,在严格外参约束下合成多模态标定数据。实验表明该流程显著提升学习式标定网络的泛化性与鲁棒性,并在多种相机-LiDAR配置上完成真实世界评测,验证了仅用合成数据训练模型的零样本迁移能力;数据生成代码、预训练模型和在线基准数据集将公开。
OmniVLoc 提出一种基于拓扑-度量框架的全向相机环视视觉定位系统,通过融合全局场景识别与单目深度估计实现多约束定位,并求解尺度感知位姿图与球面光束法平差恢复度量级位姿。系统内置分层校验机制过滤各阶段错误输出以提升鲁棒性,在公开数据集与自建数据集上的实验验证了其精度与可靠性,源码与数据集将在论文发表后公开。
arXiv发布一篇12章、388页、64图的专著《Physical AI: Concepts, Techniques, and Challenges》,将物理AI定义为在现实约束下通过持续反馈感知、建模并作用于物理世界的人工系统,并区分其与数字AI、具身AI、信息物理系统和数字孪生。
论文提出 Latent Projection for Latent Planning,指出潜空间世界模型中规划代价常取预测终态潜变量与目标潜变量的 ℓ2 距离,而潜变量本身含噪声,其来源正是训练时防止坍缩的正则项。
P3L(Preference-PCA Pluralistic Learning)框架通过PCA分解从匿名异构众包反馈中联合学习轨迹嵌入与偏好方向共享基,无需标注者身份即可实现个性化奖励学习与下游策略优化。在多个具身控制任务的实验中,P3L支持可引导的个人对齐,能泛化到离线数据集之外的分布外新用户,取得有竞争力的强化学习与测试性能,同时显著降低计算成本并支持可变的适配查询预算。
针对细圆柱物体表面空间有限、难以布置平面标记的问题,提出一种双色条纹标记,利用圆柱已知曲率提升单目相机位姿测量精度,其中双色边界提供长中心线,圆点与印刷边缘提供不同深度的特征。
AdaDex 是一个目标条件强化学习框架,把几秒的人手-物体轨迹(来自动捕数据或野外 RGB(D) 视频的 HOI 重建)转化为可泛化的灵巧技能。其核心 Hybrid Dexterous Mimicking 在两组大规模并行环境中训练共享策略:带稠密动作跟踪目标的环境注入人体先验,带噪声初始状态与目标、稀疏物体成功奖励的环境迫使技能偏离参考轨迹也能工作。
研究团队提出 UniWALM,一个统一世界-动作-语言模型,在单一共享表示中同时学习视频、动作和语言,每种模态既是条件信号也是监督目标。
Industrial ReMEmbR 是一个共享时空记忆系统,把 NVIDIA ReMEmbR 扩展到机器人机群,通过仅按需生成场景描述来降低服务器端计算。
PhysCanvas 是一个面向接触密集型机器人操作的状态一致视觉触觉世界模型,将多视角 RGB、触觉图像、marker 位移、任务状态与动作统一到同一视觉空间,共享视频 VAE 与预训练生成骨干。