Haptic Sorter:在线形状估计与实时位姿推断的统一规划框架
作者提出 Haptic Sorter 统一基于模型的几何框架,把机器人触觉感知、建模与操作规划结合起来,用于物体形状和位姿未知时的操作。框架用贝叶斯优化引导触觉探索并以超椭圆近似几何边界,用编码物体几何的自适应操作势描述准静态机器人-物体交互,还提出基于模型预测与触觉反馈的在线常微分方程实现实时位姿推断。系统在 2D 机器人分拣任务上部署,通过改变物体几何在仿真和真实多臂装置中验证鲁棒性与泛化性。
作者提出 Haptic Sorter 统一基于模型的几何框架,把机器人触觉感知、建模与操作规划结合起来,用于物体形状和位姿未知时的操作。框架用贝叶斯优化引导触觉探索并以超椭圆近似几何边界,用编码物体几何的自适应操作势描述准静态机器人-物体交互,还提出基于模型预测与触觉反馈的在线常微分方程实现实时位姿推断。系统在 2D 机器人分拣任务上部署,通过改变物体几何在仿真和真实多臂装置中验证鲁棒性与泛化性。
CoMo3R-SLAM 是一个面向户外多智能体系统的协作单目稠密 SLAM 系统,以学习式前馈三维重建先验为核心,用稠密点图锚定各智能体间的尺度,并提供足以几何验证智能体间关联的对应关系。
论文提出未来经验条件化(FEC),用短时未来视频的隐表示作为闭环策略的条件,用于多步机器人操作中的探索与策略适应。未来片段分三步生成:LLM 推理器基于当前场景状态初始化的任务本体推理、无机器人数字孪生推演目标物体运动、无掩码视频扩散模型合成与机器人一致的未来片段。
WorldArena 2.0 发布,从模态、功能与平台三个维度扩展具身世界模型评测。模态上从纯视觉扩展到视触觉,功能上从策略评估与规划扩展到把世界模型作为交互式强化学习环境用于策略优化,平台上从仅仿真扩展到多种仿真与真实机器人本体。该基准按统一协议评估感知质量、交互效用与跨平台表现,项目页提供代码与演示。
RoboEvolve 将 VLM 规划器与 VGM 模拟器耦合成相互强化的共同进化闭环,用无标注种子图像自举,缓解操作数据稀缺问题。实验显示其将基础规划器提升 30 个绝对点、模拟器成功率平均提升 48%,仅用 500 张无标注种子图像即超过全监督基线,初始强化学习数据减少 50 倍。
BEACON 提出一种理论引导的跨域协同训练框架,用充足源演示与有限目标演示训练基于扩散模型的视觉运动策略,并将协同训练建模为差异感知的重要性重加权问题。方法引入可扩展的实例级差异代理、策略与权重的随机交替更新以及多源扩展,在 sim-to-sim、sim-to-real 和多源操作设置中相比仅用目标数据、固定比例协同训练和特征对齐基线提升了鲁棒性与数据效率。
论文提出 Semantic Autonomy Stack(SAS)六层集成框架,在已验证的 ROS 2/Nav2 基础上构建语义推理、任务接口与运行记忆层,采用确定性优先的级联策略,把未解决或受保护的情况升级给预训练视觉语言模型(VLM)。
作者提出一个统一系统,在未知且动态的环境中同时约束全身轨迹的碰撞风险与抓取时的目标可见性,包含速度感知注视策略、分层子目标策略和滚动时域全身规划器三部分。在 400 个随机仿真场景和 Fetch 移动操作机器人的实机试验中,未知静态环境成功率为 70.4%,动态环境为 57.9%,分别比解耦的导航与操作策略高 16.3 和 9.3 个百分点,并显著减少碰撞。
论文提出一种基于串入并出(SIPO)移位寄存器的可扩展模拟传感器读出架构,传感器模块间仅用三根信号线即可扩展。作者在腱驱动灵巧手上集成16个关节传感器模块和1个四通道触觉传感器模块,实现20个通道1 kHz全扫描、最高1.5 kHz稳定运行;关节传感器最大斜率绝对百分比误差0.446%,触觉侧用LSTM模型在1 kHz下完成力估计与接触位置分类。
SentryVLA 是一种面向冻结 VLA 策略的轻量运行时包装器,无需重训或改动模型架构。它在动作层用保形分位数回归估计采样动作与专家行为的偏差上界,据此对多个随机候选动作排序;在执行层用马氏距离异常分数监测闭环控制中的异常状态。仿真与实机实验显示,该方法改善了动作选择,并能给出有用的运行时告警信号。
AffordSim 是一个可扩展的数据生成器与基准,将开放词汇三维可供性预测接入仿真轨迹生成,按自然语言任务描述合成场景、生成可供性查询并采样区域约束抓取,再用运动规划筛选可执行候选。
ArrayTac 是一个闭环压电触觉平台,可在 4×4 执行器阵列上同时连续渲染形状、刚度和摩擦三个触觉维度。每个单元集成三级微杠杆放大器和末端霍尔效应反馈,位移可达 5 mm,阵列刷新率超过 500 Hz,闭环带宽为 123 Hz。
PrepTurn 是一个用于连续局部导航预判机动的强化学习框架,它把当前与下一个位姿目标直接映射为关节动作,让即将到达的目标影响机器人接近当前目标的方式。该框架用持续奖励鼓励在移动中完成整段目标序列,并用逐步提高目标难度的自动课程学习稳定转向行为;仿真与 Unitree Go2 机载实验显示其顺序穿越完成率高、走走停停减少。
RoboGene 是一个面向单臂、双臂和移动机器人的智能体任务生成框架,用于在 VLA 预训练前自动产出多样化操作任务。它结合多样性驱动采样、智能体自我反思评估任务质量,以及经人工核验的反馈记忆做执行验证与持续改进,共采集 1.8 万条轨迹,并引入任务可行性与多样性指标。
FlowHOI 是一个两阶段流匹配框架,以第一视角观测、语言指令和 3D Gaussian splatting 场景重建为条件,生成包含手部姿态、物体姿态与接触状态的语义落地手物交互序列。
UniManip 提出以智能体操作图(AOG)为核心的统一框架,用于开放世界机器人操作的任务编排、状态跟踪、执行验证与闭环失败恢复。该方法通过物理接地场景图把高层语义意图落到可执行原语,并结合安全感知局部规划器生成无碰撞轨迹。在 LIBERO-Pro 上取得最优性能,真实实验中任务成功率分别比领先 VLA 模型和分层基线高 22.5% 和 25.0%。
作者提出动态窗口纯追踪(DWPP),把指令速度计算放到 v-ω 速度空间,在动态窗口内选取最接近 ω=κv 直线的点,从而显式纳入速度与加速度约束。实验显示 DWPP 能避免违反约束的指令,路径跟踪精度优于传统纯追踪方法。该方法已集成到 Nav2 官方仓库并公开,论文已被 Robotics and Autonomous Systems 接收。
这篇综述从自动化系统视角为协作连续体机器人(CCR)构建闭环任务执行架构,说明如何把目标任务规格转化为多连续体机器人的协同执行。作者据此将CCR分为分离协作、辅助协作和并行协作三种模式,并按多机器人任务分配、结构设计、建模、运动规划、控制策略与感知机制梳理研究进展,最后讨论关键技术机会与实机部署的系统集成挑战。
CRAFT-E 是一个模块化神经符号框架,将大语言模型导出的动词-属性-对象知识图谱与 CLIP 视觉对齐、基于能量的抓取推理组合,用于可供性取物。系统给出可解释的 grounding 路径,把抓取可行性纳入可供性推断,并支持不重训的图编辑。
研究提出自动生成机器人规划与执行失败数据的框架,构建了基于RLBench和BridgeDataV2的GuardianFail-36k失败推理数据集,并训练多视角推理视觉语言模型Guardian。Guardian在RoboFail、RoboVQA和新提出的UR5-Fail三个未见真实世界基准上取得最优性能,与基于大语言模型的操作策略结合后,在仿真和真实部署中均提升任务成功率。代码、数据和模型已公开。
作者提出 IndustryNav 仿真环境,包含 24 个仓库场景,用于闭环导航到指定目的地,并引入记录碰撞与近碰撞警告的安全指标。对 11 个主流开源与闭源 VLLM 及 3 个导航基线的实验显示,智能体能到达目标却会撞上移动障碍物,暴露出任务成功与安全导航之间的差距。
论文提出一种带规划级意图预测的移动机器人共享控制框架,用意图域约束路径重规划,并将意图域预测与重规划联合建模为马尔可夫决策过程、通过深度强化学习求解。作者还设计了基于 Voronoi 的人类轨迹生成算法,使模型可完全在仿真中训练,无需人类参与或示教数据;仿真与真实用户实验显示该方法在任务效率不降的前提下降低操作员负担并提升安全性。
一篇 NeurIPS 2026 Position Paper 提出以身体-控制协同设计实现人形机器人的物理递归自我改进(RSI):利用当前身体与策略的经验,递归地同时改进形态与行为。文章讨论了基于策略性探索、Sim2Real 迁移和元策略学习的协同设计方法,并从方法论、应用和社区角度论证其必要性,同时列出从短期创新到长期目标的开放研究问题。
特殊伽利略群 SGal(3) 是 10 维李群,其重要子群包括特殊正交群、特殊欧氏群和扩展位姿群。该工作简述 SGal(3) 及其李代数,说明群结构如何支持空间与时间不确定性的统一表示,并指出该群对若干机器人问题的潜在用途。
该论文提出用虚拟非完整约束(VNHC)解决非抓取式机器人接物问题,直接依据物体被抓取前的状态设计和控制末端执行器运动,无需预测物体轨迹并生成时变机器人轨迹。在平面情形下,该方法可在期望高度接住物体,并使接触瞬间的相对法向速度最小,同一 VNHC 函数只依赖目标接取高度,可覆盖多种初始条件。接触后使用模型预测控制(MPC)使物体与末端执行器停在指定位置,目前已在仿真中验证。
OSWAM 提出一种只需一步扩散即可生成动作的世界动作模型,用于自动驾驶与具身控制。作者用想象 token 初始化扩散过程以提供物理先验和动作条件表示,并引入带未来条件的特权信息蒸馏,使动作质量与需要数十步的直接策略 WAM 和 Joint-WAM 相当或更好。相比直接策略 WAM 基线约有 3 倍加速,在 NVIDIA RTX 5090 GPU 上编译推理延迟低至 40ms。
该论文研究多目标强化学习中的策略学习问题,提出目标冲突系数并据此推导在线场景的近最优遗憾界,用于量化目标错位对学习效率的影响。作者设计了路由集成策略学习算法,维护一小组基策略并将轨迹动态路由到潜在奖励最高的策略;同时提出核代理轨迹归因算法,估计轨迹反馈信号对其他轨迹策略学习的影响。
论文提出 OpTTA,在世界模型测试时自适应目标中加入规划器的目标达成代价项,使模型对到达目标保持乐观。在操作、到达与导航任务的视觉和环境偏移下,仅自适应预测器时,OpTTA 将最终规划成功率平均提升 13.5 个百分点,而仅用预测目标的 AdaJEPA 为 6.9 个百分点;同时自适应编码器时两者分别为 13.5 和 7.5 个百分点。
研究团队用864节点触觉-惯性手套以100Hz同步采集70余名参与者、五种技能水平的14000余次击球,提出基于力学的两层框架,从触觉历史中推断驱动球拍与稳定握持的控制并还原其时空力实现。
论文提出一种不确定性评估方法,用于ISO 21448 SOTIF分析:把在一个条件下选定的不确定性阈值迁移到某个触发条件,用测试在给定错误概率下判定性能目标在该条件下适用、不适用或无法判定,并给出适用结论所需独立单元数的下界。
该论文提出让视频世界模型的潜空间同时兼顾可预测性与像素重建精度,通过表征学习的时间目标配合过去条件化解码器架构实现。在相同训练预算下,推理成本最高降低 5 倍、训练速度提升 7 倍以上,分布外与长时程预测的像素和感知误差降低 15-24%。作者认为时间可预测性应作为视频世界模型潜空间的重要设计准则,并给出将其纳入自编码器训练的具体做法。
研究结合果蝇全脑记录与神经力学数字孪生,测试用内在动机算法训练的智能体能否在虚拟系留球实验中复现果蝇的自主探索行为。智能体从离散低级运动基元库中选择动作,在无外部奖励下用20种内在动机算法训练;其中DIAYN在行为与神经前瞻编码上最接近果蝇,并复现了半球间运动学编码的加减规则。
该项目探索四旋翼飞行器的控制器设计与轨迹生成,采用微分平坦方法,基于航点导航生成最小捕捉轨迹,并用简单PD控制器跟踪轨迹。仿真结果显示该方法能为四旋翼的位置和速度生成平滑轨迹。
针对搭载双自由度机械臂、可与环境物理交互的四旋翼,研究实现并对比了笛卡尔阻抗控制与自适应滑模控制两种控制器。在存在有界扰动的情况下,两种控制器以相同初始条件和目标位置执行简单悬停任务,并基于完整动力学模型进行验证。
EAST 是一个数字孪生框架,把有文献依据的安全证据转化为覆盖感知、指令、环境、动作与时序的故障注入测试,并配有专家评审的安全故障分类和八个可执行算子。
作者提出 TLP 点云配准方法,仅需一个可调参数,用不同 p 值的截断 Lp 函数为对应关系分配优先级分数、选择假设并精化最终模型。该方法针对真实三维特征匹配中的高离群率,利用 GPU 并行评估假设,平均可在 1 秒内完成数千个对应关系的配准。在公开基准数据集上,TLP 精度高于现有单参数方法,并在四个评测数据集中的三个上优于两种常用的多参数方法,运行时间保持竞争力。
研究测试了画面旁文本对视觉语言模型评判机器人视频的影响:在机器人进度落后的片段中加入一句“正在取得进展”的日志,Gemini、Qwen 和 GPT 评判者把正确结论翻转为“有进展”的比例比中性文本高 10 到 35 个百分点。
针对量子计算机对公钥认证与密钥协商的威胁,研究提出“轮换保密”架构目标及PARS参考机制,在授权物理AI智能体间协调策略触发的密钥建立、轮换与对账。可选的PARS-ESL许可链由授权验证者或边缘网关维护,仅记录密钥纪元、组成员、撤销、算法套件策略等认证状态,不存储高频业务交易,使资源受限智能体可作为轻量客户端接入。
研究者提出基于 OWL 感知函数的解析框架,用于单相机运动时分割多个独立运动的刚体。OWL 将感知 looming L 与感知旋转 ω 编码为相对 3D 结构的闭式表示,由此可从 L 和 ω 逐像素解析恢复相对平移单位方向,同一非旋转刚体上的点共享相同方向,聚类即可完成分割。该方法用四元数在 3D 中推导,具备并行性、相机旋转不变性,且无需训练数据、深度信息和语义先验。
作者提出 Patchwork,一个面向域随机化仿真的资源共享系统,基于 E=T+Δ 表示,用共享模板加补丁记录环境变更,并在 robosuite 与 MuJoCo 上实现。在 LIBERO-plus 和 RoboCasa365 负载上,32 个副本时共享模板执行相比每环境一进程将 CPU RSS 降低 88-92%。实验显示内存增长更多取决于模板多样性与独有资产内容,而非实例数量。