OpTTA:面向规划而非仅预测的世界模型测试时自适应
论文提出 OpTTA,在世界模型测试时自适应目标中加入规划器的目标达成代价项,使模型对到达目标保持乐观。在操作、到达与导航任务的视觉和环境偏移下,仅自适应预测器时,OpTTA 将最终规划成功率平均提升 13.5 个百分点,而仅用预测目标的 AdaJEPA 为 6.9 个百分点;同时自适应编码器时两者分别为 13.5 和 7.5 个百分点。
论文提出 OpTTA,在世界模型测试时自适应目标中加入规划器的目标达成代价项,使模型对到达目标保持乐观。在操作、到达与导航任务的视觉和环境偏移下,仅自适应预测器时,OpTTA 将最终规划成功率平均提升 13.5 个百分点,而仅用预测目标的 AdaJEPA 为 6.9 个百分点;同时自适应编码器时两者分别为 13.5 和 7.5 个百分点。
研究团队用864节点触觉-惯性手套以100Hz同步采集70余名参与者、五种技能水平的14000余次击球,提出基于力学的两层框架,从触觉历史中推断驱动球拍与稳定握持的控制并还原其时空力实现。
论文提出一种不确定性评估方法,用于ISO 21448 SOTIF分析:把在一个条件下选定的不确定性阈值迁移到某个触发条件,用测试在给定错误概率下判定性能目标在该条件下适用、不适用或无法判定,并给出适用结论所需独立单元数的下界。
该论文提出让视频世界模型的潜空间同时兼顾可预测性与像素重建精度,通过表征学习的时间目标配合过去条件化解码器架构实现。在相同训练预算下,推理成本最高降低 5 倍、训练速度提升 7 倍以上,分布外与长时程预测的像素和感知误差降低 15-24%。作者认为时间可预测性应作为视频世界模型潜空间的重要设计准则,并给出将其纳入自编码器训练的具体做法。
研究结合果蝇全脑记录与神经力学数字孪生,测试用内在动机算法训练的智能体能否在虚拟系留球实验中复现果蝇的自主探索行为。智能体从离散低级运动基元库中选择动作,在无外部奖励下用20种内在动机算法训练;其中DIAYN在行为与神经前瞻编码上最接近果蝇,并复现了半球间运动学编码的加减规则。
该项目探索四旋翼飞行器的控制器设计与轨迹生成,采用微分平坦方法,基于航点导航生成最小捕捉轨迹,并用简单PD控制器跟踪轨迹。仿真结果显示该方法能为四旋翼的位置和速度生成平滑轨迹。
针对搭载双自由度机械臂、可与环境物理交互的四旋翼,研究实现并对比了笛卡尔阻抗控制与自适应滑模控制两种控制器。在存在有界扰动的情况下,两种控制器以相同初始条件和目标位置执行简单悬停任务,并基于完整动力学模型进行验证。
EAST 是一个数字孪生框架,把有文献依据的安全证据转化为覆盖感知、指令、环境、动作与时序的故障注入测试,并配有专家评审的安全故障分类和八个可执行算子。
作者提出 TLP 点云配准方法,仅需一个可调参数,用不同 p 值的截断 Lp 函数为对应关系分配优先级分数、选择假设并精化最终模型。该方法针对真实三维特征匹配中的高离群率,利用 GPU 并行评估假设,平均可在 1 秒内完成数千个对应关系的配准。在公开基准数据集上,TLP 精度高于现有单参数方法,并在四个评测数据集中的三个上优于两种常用的多参数方法,运行时间保持竞争力。
研究测试了画面旁文本对视觉语言模型评判机器人视频的影响:在机器人进度落后的片段中加入一句“正在取得进展”的日志,Gemini、Qwen 和 GPT 评判者把正确结论翻转为“有进展”的比例比中性文本高 10 到 35 个百分点。
针对量子计算机对公钥认证与密钥协商的威胁,研究提出“轮换保密”架构目标及PARS参考机制,在授权物理AI智能体间协调策略触发的密钥建立、轮换与对账。可选的PARS-ESL许可链由授权验证者或边缘网关维护,仅记录密钥纪元、组成员、撤销、算法套件策略等认证状态,不存储高频业务交易,使资源受限智能体可作为轻量客户端接入。
研究者提出基于 OWL 感知函数的解析框架,用于单相机运动时分割多个独立运动的刚体。OWL 将感知 looming L 与感知旋转 ω 编码为相对 3D 结构的闭式表示,由此可从 L 和 ω 逐像素解析恢复相对平移单位方向,同一非旋转刚体上的点共享相同方向,聚类即可完成分割。该方法用四元数在 3D 中推导,具备并行性、相机旋转不变性,且无需训练数据、深度信息和语义先验。
作者提出 Patchwork,一个面向域随机化仿真的资源共享系统,基于 E=T+Δ 表示,用共享模板加补丁记录环境变更,并在 robosuite 与 MuJoCo 上实现。在 LIBERO-plus 和 RoboCasa365 负载上,32 个副本时共享模板执行相比每环境一进程将 CPU RSS 降低 88-92%。实验显示内存增长更多取决于模板多样性与独有资产内容,而非实例数量。
研究提出将 SysML v2 中带假设与要求约束的需求视为 assume/guarantee 契约,把系统需求在固定邻居上分解后,开放组件的最弱可靠需求即契约商,并可用 Signal Temporal Logic 表达。
作者提出GEMS框架,将持久化的时空3D高斯溅射(3DGS)地图与智能体推理流程结合,地图只重建一次,之后仅在场景变化区域更新并保存这些改动。智能体流程借助该地图按需渲染新视角,逐步累积证据以回答时空问题,并根据自然语言查询定位物体。
研究团队提出 FLORE 框架,用两只带力传感的 UMI 式手持夹爪和可穿戴追踪器采集无机器人演示,训练以视觉、本体感知和测量力旋量为输入的力反应扩散策略,输出动作与每只手力指令。配套的混合柔顺全身控制器借助真实力/力矩传感器的力误差积分实现单手力跟踪并保持平衡。在三项接触密集任务实机测试中,力反应策略成功率为 80%,同一控制器下仅位置策略为 26.7%。
该论文提出一种用于摩擦接触的平滑解析梯度,仅在后向传播中替换精确接触敏感度,前向硬接触求解与实机可行轨迹保持不变。作者用10万样本、在台式机上训练不到2分钟得到的策略无需微调即可迁移到硬件,机器人在小跑策略下能承受推挤并穿越碎石和湿滑地面;在轨迹优化中,该梯度能找到精确梯度和Signorini松弛梯度遗漏的富接触解。
该报告在 EBench 上评测 GPT-6-Astra 作为机器人智能体,采用与后训练策略相同的视觉和本体感知观测协议,比较直接控制与结合策略的 harness 两种配置。
作者提出 Zero-real Agent Policy(ZAP),用预训练的 27B 参数视觉语言模型配合简单工具接口控制机器人,经监督微调和 GRPO 在简单仿真任务上训练,训练中不使用任何真实机器人数据。
Specola 是一个在仿真中按信号时序逻辑(STL)规范评测机器人行为的工具,提供 Python API 和命令行接口,可接入现有策略执行循环。它给出适配器接口,并已提供 LIBERO、RoboCasa、Isaac Lab、RoboDojo 等九个仿真环境与基准的适配器,用于补充成功率之外的满足程度、参数敏感性和违规要求等信息。
TrySee 提出一种模块化闭环机器人任务规划流程,将通用 VLM 推理与领域专用感知及既有机器人组件结合,无需 VLM 微调或端到端演示。系统采用反应式循环规划,并加入领域专用模块化视觉预处理以提供在线 grounding,同时通过动态预处理选择机制提升可扩展性。
FISRF 提出智能体与导师架构,用于估计机器人在任务规划中的最近发展区(ZPD),并自适应选择反思策略与导师引导,以缓解早期交互中错误经验累积的问题。在 ALFWorld 和真实机器人平台上的实验显示,该方法将平均纠错轮次减少 37%、冗余推理减少 25.1%,整体任务成功率提升 8%。
研究提出一种实时运动规划框架,保留四足机器人完整的SE(2)模型及其各向异性、航向耦合的速度约束,并接受由此产生的非凸性。该方法将轨迹参数化为复合Bernstein多项式,利用凸包性质在整个规划时域内证明避障与输入约束成立,并以在线重规划频率闭环运行,向运动控制器下发机体速度。
作者提出将环境编辑作为机器人纠正的补充反馈形式,在机器人运动保持不变时由人编辑场景,使编辑的唯一解释是被移动的物体。他们提出 FERRET(Feature Learning from Environmental and Robot-Relational Edit Traces),从机器人纠正和环境纠正中学习偏好,并展示环境编辑能消歧特征、学到仅靠机器人纠正无法学到的偏好。
论文提出VPR-Space基准,用于评估月球、火星等地外表面场景下的视觉位置识别(VPR)能力。作者基于太空模拟域(SAD)现有数据构建了16个数据库-查询数据集,覆盖环境、视角变化和光照条件等挑战。
研究团队用一辆真实车尺寸车辆开展 N=18 的实地实验,比较相机画面、原始 LiDAR 点云鸟瞰图和 LiDAR 与相机融合鸟瞰图三种遥操作界面。
研究提出一种多模态框架,利用大语言模型和视觉语言模型把自然语言表达的人类目的转化为机器人任务与驱动力,使开放式学习的自主机器人行为与人类意图对齐。系统分为语义对齐、任务生成和驱动力建模三层,形成人类输入定义高层目的、机器人扩展为可执行任务、反馈维持对齐的双向交互闭环。仿真和实体机器人实验表明该流程能生成有效任务与行为。
研究提出基于3D高斯泼溅(3DGS)的数据生成流程,用于腕部相机VLA策略的精细接近任务适配。该方法重建真实工作空间并从机器人对齐位姿渲染腕部相机观测,与平滑结构化接近轨迹配对用于VLA微调,并加入指令条件化的接近验证器在物理接触前判断终止。
该研究提出一种从文本、音频、视频的多模态上下文描述自动生成并调制复杂全身表达性手势序列的方法,基于动态运动基元(DMP)统一实现动画原理,并用多模态基础模型生成高度上下文感知的参数化动作变体。
RoboDoctor 是一个免训练框架,在固定模型权重下通过诊断、动作执行和持久经验记录三个修订目标,让通用机器人策略与语言模型智能体在执行中自适应。在 54 条 RoboDojo-Sim 任务条目上,该框架取得五维平均分 57.10、原生成功率 49.44%,记录交互展示了策略切换、选择性纠正和抓取修正。作者指出这些结果刻画的是所评估系统中的执行期自适应,仍需对照实验来分离跨回合经验的贡献。
研究提出一种分布式预测集群控制器,每台微型振动驱动机器人独立求解非线性模型预测控制(NMPC)问题,仅与局部邻居交换预测轨迹,在0.64平方米场地的开源振动驱动bristlebot数字孪生上对比六种障碍函数与控制障碍函数(CBF)安全形式。
作者提出 PIFR 基准,用于评测长程具身导航中高优先级指令打断当前任务序列后的抢占与恢复能力。PIFR 包含单次、重复和嵌套中断设置,并分别给出插入任务完成、原任务恢复和整段序列完成的阶段指标。作者还提出一个轻量候选排序基线,用于改善中断后目标重新定位。
该研究提出面向深度强化学习(DRL)的任务分解框架,将迁移学习(TL)与奖励重设计(RR)结合,以提升障碍环境下的学习效率与鲁棒性。
作者提出便携手持设备 DEX-PHD,集成灵巧机器人手、逐指连续控制和多模态记录,可采集本体感知信息、指尖接触数据与腕部相机视频,操作者通过关节级映射直接控制机器人手。其无缆设计支持在多种环境中采集数据,作者在需要多指协同的接触密集型任务上演示,并将采集的示范通过开环回放在实体人形机器人上执行,结果显示开环回放保留了手指运动的主要时序模式和任务相关接触。
论文提出 RoKON,一种面向机器人操作的数据驱动预测控制方法,无需学习显式动力学模型。方法用高斯核非线性预测器表示输入输出数据关系,并提出阻尼高斯-牛顿法利用控制问题的最小二乘结构实现实时控制,同时引入混合缓冲管理策略,在保留相关离线数据的同时纳入有信息的在线数据,以适应动力学变化。
论文提出 MATE-BT,一个将任务执行、任务分配与任务执行分层解耦的异构多机器人团队去中心化框架,由机载活跃领导者管理任务推进与团队级任务分配,并在领导者故障后转移权限。
EmbodiedLab 是一个要求机器人“动手求知”的基准:智能体接收目标与实验装置,自行选择实验流程,在物理仿真实验室中通过相机读取仪器,评估其最终获得的知识以及任务要求的物理状态。
作者提出去中心化 LiDAR-雷达-惯性里程计框架 LRIO,融合激光雷达、FMCW 雷达与惯性传感,在 GPS 拒止且受烟雾影响的地下隧道中做位姿估计。框架核心是自适应残差阈值(ART)机制,用于检测传感器随时间退化并调整融合过程,配合容错最优信息滤波器(RETOIF)以故障感知方式融合激光-惯性与多路雷达-惯性里程计。
论文提出VisGeo-PipeTrack伺服控制框架,用YOLOv5检测管道标签并结合视觉几何约束定位,使无人机跟踪存在振动等动态运动的管道。控制端采用基于模型预测控制的实时校正自适应PID(MPC-RCAPID),通过递推最小二乘在线估计模型并滚动优化调整PID参数。
作者提出 Reward-Guided RRT*,一种基于采样的框架,通过一系列局部联合的任务选择与运动规划阶段,在连续状态空间中直接构建满足预算的任务序列,无需预计算任务转移图。