AWARE:面向视觉-语言-动作模型的动作熵加权与注意力引导观测证据检索
作者提出 AWARE,一个免训练、即插即用的视觉-语言-动作模型(VLA)模块,通过逐元素动作熵追踪各层不确定性,并借助联想记忆查找把观测证据检索进前馈网络的键值记忆。
作者提出 AWARE,一个免训练、即插即用的视觉-语言-动作模型(VLA)模块,通过逐元素动作熵追踪各层不确定性,并借助联想记忆查找把观测证据检索进前馈网络的键值记忆。
论文提出 Semantic World Models,把世界模型建模为对未来帧语义信息的视觉问答,而非重建未来像素,从而可用视觉语言模型经图像-动作-文本数据监督微调得到。作者在仿真机器人任务上验证,效果优于典型的基于重建的动作条件世界模型。
论文提出四元数近似网络(QUAN),通过 Hamilton 积分解用实数运算近似四元数卷积,并配合自定义 CUDA 内核实现旋转等变图像分类与目标检测。作者还提出独立四元数批归一化(IQBN)以稳定训练,并将四元数运算扩展到空间注意力机制。
作者提出BiDex-100,一个面向双臂灵巧操作的仿真基准,包含106个任务,按泛化、指令跟随、少示教、长时程和记忆五个能力维度组织。每个任务配有受控视觉与空间变化的域外变体,用于评估鲁棒性,并支持两种本体、提供8,080条经成功验证的遥操作示教,共625万帧。作者在统一协议下评测七个近期视觉-语言-动作模型,建立分能力性能、鲁棒性和数据效率的基线。
该论文比较连续与离散动作策略在单任务回归、多任务VLA训练以及仿真和实机中的表现,发现即使采用最朴素的均匀分箱量化,离散动作预测在任务成功率上也能匹配甚至超过连续动作策略。
作者提出信息解耦轨迹设计框架 IDTD,用 Fisher 信息矩阵导出的 Schur 补分数构造探索目标,并按参数归一化、逐参数选取最优轨迹段后对数聚合,以缓解参数不可区分导致的辨识不可靠。
作者提出MILD操作界面定位数据集,包含Insta360 X5与Insight9采集的86段真实传感器序列(覆盖15个重复桌面任务)及Isaac Sim中的MILD-Sim仿真子集,并提供每次执行的机器人末端执行器参考轨迹。
该研究提出双无人机吊运框架,在缆绳锚点处用自研紧凑型力传感器测量交互力,并通过静态与动态测试评估其线性度、迟滞、重复性和交叉载荷。控制采用级联结构,内环负责机体稳定,外环补偿实测力,在位置不确定下的仿真与室内实验中验证。吊运掉落和受限空间测试与文献分布式方法对比,显示稳定性、协同和抗扰能力提升。
Zhengshu Zhang 在 arXiv 论文中提出,机器人面对陌生物理条件时的诊断要改善行为,需满足六项有序经验条件:有意义的参照、物理条件可辨识、使用所获证据、决策价值、相对固定备选方案的选择价值、安全实现。
论文提出一个法律规划栈,用可废止道义逻辑(DDL)约束运动规划器,并借助学习到的世界模型进行规划与提供法律上下文,从而在非法动作执行前进行事前干预。该栈在仿真机械臂于3x3网格推动方块的场景中部署,结果显示受法律约束的智能体遵守规范的比例明显高于未受约束者,对感知不确定性建模后遵守率进一步提升,法律推理在运行时高效且裁决可审计,并能适应外生信号与内生规则变化。
作者提出一种离散时间神经可达性框架,通过Bellman-Isaacs值传播学习后向可达管(BRT)与后向可达规避管(BRAT),并用无梯度值探测构造近似教师动作,把对抗式actor学习转为监督策略学习。
作者提出基于网格的时空高斯过程-卡尔曼滤波框架,用于学习式多机器人信息路径规划,用离散工作空间网格上的单一潜变量场表示匿名目标存在,而非为每个目标维护一个高斯过程。
该研究将 VLA 模型与柔顺控制器结合,用 RGB 观测、时序编码触觉反馈和本体感知的人类演示微调模型,实现机器人到人的双手交接。在人类受试者研究中,该系统与无触觉反馈、有触觉但无柔顺控制两个基线对比,结果显示柔顺控制与触觉历史互补,性能明显优于基线。项目页面已公开。
该研究提出一个语言驱动的导航框架,让移动机器人理解“去邮箱”这类自然语言请求,识别所指物体并用 RGB-D 数据估计其位置,生成导航目标后交由 ROS 2 Nav2 导航栈执行。
研究团队提出用大规模灵巧抓取数据预训练分层模仿学习框架的低层控制器,再在下游任务示教上微调,以支持关节工具使用中的功能灵巧性。他们从大规模灵巧抓取标注构建了 355k 条轨迹的抓取预训练数据集,并推出包含六项关节工具使用任务的仿真基准 DexCraft。在仿真和实机实验中,该方法优于端到端扩散策略基线和从零训练的分层策略,实机全任务成功率比 DP3 高 33.3 个百分点。
LOPAL 是一种局部性能感知的主动学习方法,用高斯混合模型(GMM)同时编码示教轨迹及其局部质量评估,从而生成优于不完美示教的轨迹。该方法还通过共享自主(SA)机制在数据不足区域主动请求用户纠正,机器人在此过程中自主执行已学行为。
研究团队提出 FTP-1,一个跨多种触觉传感器和本体预训练的通用基础触觉策略,用异构编码器把图像、阵列和状态类触觉信号映射为统一的形态感知隐 token,由共享触觉 Transformer 专家联合建模。
推荐理由:该工作把多种触觉信号统一到共享策略中,并给出跨传感器迁移的成功率变化,可供触觉操作研究参考。
作者提出力感知世界动作模型 FAWAM,在感知、预测和闭环执行三个层面引入力信息:先编码历史六轴力/力矩信号调制动作生成,再联合预测未来动作与末端执行器力旋量以显式建模接触演化,并用预测力旋量轨迹作为执行期参考、结合实时力反馈在线修正动作。在多个接触丰富任务的真实实验中,FAWAM 平均成功率比纯视觉基线高 36.25%,比现有力感知基线高 21.25%。
作者提出 GTP-FA,一个面向机器人操作的两阶段“先抓取后规划”框架:先生成抓取候选,再以选定抓取为条件做下游运动规划。该框架学习失败归因模型,对失败轨迹给出失败模式分布,并据此分别优化抓取评分与规划模块。仿真与实机实验显示,GTP-FA 在 RL、IL、扩散策略和 VLA 等基线上提升了整体任务成功率,论文已被 NeurIPS 2026 接收。
RePO-VLA提出恢复驱动的策略优化框架,把成功、恢复和失败轨迹赋予不同角色,用于长时序、接触密集的操作任务。该方法先用恢复感知初始化把纠正片段切成新回合,再学习进度感知语义价值函数,并用价值条件精炼让策略偏好高进度动作。
作者提出S3KF全景3D多目标跟踪框架,基于电机旋转LiDAR与四鱼眼相机,在单位球面S^2上用两自由度切平面参数化建模目标方位,并与框尺度、深度动态联合估计。
作者提出机器人智能体拆解平台 RAPID,集成龙门式工业机械臂、RGB-D 感知和自动拧螺母工具,在完整电动汽车电池包上完成紧固件拆除。开放词汇目标检测达到 0.9757 mAP50;三种一次性紧固件拆除策略中,示教位姿成功率 97%、耗时 24 分钟,一次性视觉执行成功率 57%、耗时 29 分钟,视觉伺服成功率 83%、耗时 36 分钟(n=204)。
作者提出GPU原生的多目标强化学习算法MORLAX和可pip安装的GPU加速多目标环境库MO-Playground,可在数分钟内近似Pareto集,相比传统CPU方法加速26-271倍,相比此前GPU方法最高加速19倍,同时学到更优的Pareto前沿超体积。团队还实现了自定义BRUCE人形机器人环境,在仿真中针对平滑性、能效和摆臂等6个实际目标学习Pareto最优的运动策略。
Boreas Road Trip(Boreas-RT)数据集发布,包含9条真实路线、60段序列、共643公里行驶数据,每条路线多次往返,可在相同环境下比较不同交通与天气条件。
DeFM 是一个完全基于深度图像自监督训练的基础模型,采用 DINO 式自蒸馏目标,在 6000 万张深度图像数据集上学习可泛化到不同环境、任务和传感器的几何与语义表征。
论文研究带概率终点的哈密顿路径问题(HPP-PT),目标是让移动机器人访问全部候选位置以寻找目标,并最小化期望路径代价。作者提出有最优性保证的搜索方法 RPT*,用新状态空间中的动态规划绕开历史依赖,并设计启发式加速计算。基于 RPT* 的 HATS 系统结合贝叶斯滤波或自主探索,在仿真和实机实验中平均比基线方法更快找到目标。
作者提出一种语义-几何图任务表征,联合编码物体身份、物体间语义关系和每个物体的运动历史,由MPNN编码器与Transformer解码器组成,编码器只处理时序场景图,产出与动作标签解耦的结构化表征。
DreamTacVLA 提出一种将 VLA 模型建立在接触物理之上的框架,通过预测未来触觉信号来学习接触动力学。该模型采用分层感知,将高分辨率触觉图像作为微观视觉输入,与腕部相机局部视觉和第三人称宏观视觉结合,并用分层空间对齐(HSA)损失对齐触觉 token 与腕部、第三人称视图中的空间对应物。
CLEAR-IR提出一种双流架构,从带结构光发射器图案的红外图像重建干净、RGB风格的图像,让原本用RGB训练的视觉管线在无可见光条件下继续工作。该架构受DeepMAO启发,在目标检测、ArUco标记检测和视觉SLAM上评测,覆盖从光照良好到完全黑暗的场景;在完全黑暗时,被动RGB增强方法因传感器无信号而失效。论文已被IEEE/RSJ IROS 2026接收。
论文研究基于视触觉传感器(VBTS)的主动采样策略,以实现样本高效的硬度分类,使用模型不确定性的信息论度量。作者在自建机器人采集的 VBTS 数据集和已发表数据集上评估了三种概率分类器、两种主动采样策略与随机采样基线,并针对相同物体开展了人类硬度分类研究。结果显示,以方差和熵作为不确定性度量的主动采样方法表现最佳,准确率达到 90%,而人类准确率为 48%。
研究团队采集带标注的第一视角网球数据集,训练并评测图像编码器、视频编码器和视觉语言模型在七项时空预测任务上的表现。最佳模型当前帧定位误差为自视角球员0.14米、球0.54米,1.1秒内轨迹预测误差分别为0.34米和0.91米,触球时间预测平均误差0.14秒。辅助深度信息明显改善3D球定位,更长的图像历史未提升球轨迹预测;团队还提出条件扩散模型,以实时速率从第一视角视频生成全身网球运动学动作。
一项遵循PRISMA 2020的系统综述梳理了2021至2026年间83篇人机协作实证论文,用联合行动理论将其归入表征、预测与整合三种能力下的九个构念。分析揭示了各构念在研究中如何分布与共现,指出实证证据集中与缺失之处,并给出未来研究指引。
作者提出 Just Action Model(JAM)框架,把 VLA 与 WAM 的差异拆解为骨干初始化、未来观测损失目标和推理时是否保留该损失机制三个可分离选择,统一为“预训练视觉骨干加动作专家、用动作损失与前瞻损失训练”的结构。
作者提出以多任务冠脉感知网络 MCP-Net 为核心的仿真驱动框架,用于机器人导丝导航,将冠脉血管分割、血管拓扑提取与路径图生成整合在一起。该方法从三维冠脉 CT 血管造影生成含模拟导丝、不同严重程度狭窄病变和多种血管几何的模拟透视图像及仿真真值,MCP-Net 从单帧透视图像联合完成血管分割、导丝尖端定位和狭窄定位。
该研究提出可靠性感知框架,将极性-时间定位、几何恢复、事件-CAD精化与轨迹优化串联,用三分支表示结合正事件、负事件与近期事件时序。在SPADES挑战赛官方测试集上完整系统取得0.0474综合位姿分数,比PASAN+IRIS低约5.4%。消融显示基础定位加均匀PnP为0.0772,完整级联降至0.0514;相同单帧观测下质量加权将分数从0.0549降至0.0514。
该论文分析近端策略优化(PPO)中各向同性高斯策略的可塑性丧失(LoP),指出策略标准差 σ 显著影响 LoP 程度,并给出理论与实验支持。实验包含 LoP 基准对比和 7 自由度机械臂上的真实策略部署,作者还据此解释了常见 LoP 缓解方法为何有效。
针对自主智能体在共享环境中需保证安全与任务完成等联合兼容性的问题,研究提出一种双层结构:监管方发布种子智能体,各开发者独立测试自己的智能体与所有种子兼容智能体的兼容性,即“面向未来的性质”。
论文研究部署策略变化后世界模型不确定性失效的问题,提出用加权共形校准把边际覆盖率迁移到目标策略分布,并用域分类器的对数损失遗憾界定权重误差。
ThinkWorld 是一个视觉-语言-动作(VLA)学习框架,把每个动作思考表示为动力学链(CoD),即一串离散运动 token,刻画当前世界到未来状态的中间动力学,并作为跨本体的通用动作表示。
研究团队提出面向 LEAP 灵巧手的在手中物体位姿到达训练配方,在仿真中无需人类数据训练,经系统辨识后零样本迁移到实机,可用动作捕捉或腕部单目深度相机。在 4 个物体、4,800 个未见目标、13.3 小时实机评测中,基于状态的策略在 2 cm 和 0.4 rad 内到达 95.2% 的目标;叠加可调保守度的学习残差安全过滤器后掉落减少 75%,仍到达 91.5% 的目标。