CognitiveReality:面向沉浸式协作 VR 遥操作的机器人无关语义高斯建图与 LLM 智能体
CognitiveReality 将机器人 RGB-D 流构建为语义索引的 Gaussian-TSDF 地图,供 VR 操作者与工具调用语言智能体共享。同一建图程序仅靠配置适配不同平台,可接入机器人 SLAM、关节运动学、动捕或视觉跟踪位姿,并以影子跟踪与关键帧锚定 PnP 应对定位中断,以 2 Hz 维护开放词汇实例身份和逐物体质量。
CognitiveReality 将机器人 RGB-D 流构建为语义索引的 Gaussian-TSDF 地图,供 VR 操作者与工具调用语言智能体共享。同一建图程序仅靠配置适配不同平台,可接入机器人 SLAM、关节运动学、动捕或视觉跟踪位姿,并以影子跟踪与关键帧锚定 PnP 应对定位中断,以 2 Hz 维护开放词汇实例身份和逐物体质量。
DGT-Map 提出一种自监督框架,从 RGB-D 观测和运动信号学习全局、方向性且以车辆为条件的可通行性代价地图。它用共享多任务主干学习跨车辆的共同地形特征,再由各车辆专属预测头保留平台相关响应,推理时输出按航向索引的代价地图供方向感知规划器使用。
H2RBench 是一个用于评估人类到机器人(H2R)迁移方法的 Real2Sim 基准,基于真实人类视频演示与仿真机器人演示建立标准化协议,覆盖四类操作任务。
作者提出 Expert-Play Contouring Control(EPCC),把慢速专家演示与快速非专家试玩结合,实现快于演示的执行速度。专家演示训练隐轨迹生成器,其预测被重参数化为与时间无关的任务进展轮廓,试玩数据训练快速动作结果的世界模型,部署时规划器沿该轮廓优化动作并惩罚偏离。
X-WBC 是一个跨本体人形全身控制基础框架,将相对共享的人体运动语义与本体特定的物理执行分离。它用人类中心命令 token 对齐完整人体运动、机器人参考运动和稀疏 VR 观测,由因果 Transformer 从多机器人混合 rollout 中学习可复用时间结构,轻量机器人专属模块再把共享表示映射到各机器人的本体感知与动作空间。
推荐理由:论文提出跨本体人形全身控制框架,把共享人体运动语义与各本体执行解耦,并在九种仿真本体和四台实机上验证联合训练效果。
行元智能10月27日发布面向机器人预训练的跨本体数据引擎Chorus众行,可将智能眼镜、胸戴相机、腕部相机、UMI设备、智能头环等采集的人类操作视频转化为适配不同机器人本体的预训练数据。
AgiBot Research Team 发布 GE-Act 2.0 世界-动作模型技术报告,其生成与动作组件全部在操作数据上从零初始化训练,由控制导向自编码器 CoAE、单步视觉规划器 SVP 和逆动力学模型 IDM 组成,并用 KASO 联合训练。
推荐理由:原文给出从零预训练世界-动作模型的组件设计与数据规模扩展曲线,可观察零样本跨本体迁移的变化。
该研究提出用仿真中的采样模型预测控制(SMPC)作为自动专家生成大规模离线数据集,再用纯稀疏任务奖励训练离策略强化学习智能体,从而免去稠密奖励的人工设计。高层智能体与低层动态稳定控制器结合后,学到的策略在任务目标上可超过原始最优控制教师。作者在搭载机械臂的 Spot 四足机器人和 G1 人形机器人上完成仿真到现实部署,论文为 CoRL 2026 录用版本。
SHRIMP 系统让用户用自然语言自动生成分层机器人基元计划,并通过重新提示和显式修正迭代修改计划。每次修改后用户可在仿真中验证计划,满意后再在实体机器人上执行。一项 35 人参与的桌面厨房任务规划用户研究表明,SHRIMP 提升了用户的感知控制感和机器人透明度。
研究提出接触隐式、基于直接仿真的多重打靶框架 DSMS,将运动学可行的参考动作转换为动力学可行的全身轨迹,并在非线性规划内处理接触、摩擦、碰撞与关节限位,无需预设接触时序。相比现有重定向方法,DSMS 加快运动模仿强化学习训练,策略成功率高、跟踪误差低。作者在 Unitree G1 上实现零样本仿真到现实迁移,完成行走、慢跑、接触丰富的爬行以及 180 度跳跃转身。
研究提出分阶段多智能体训练(SMAT)方法,在物理仿真中联合训练肌肉骨骼人体智能体与双侧髋关节外骨骼控制策略,学习考虑人机协同适应的辅助策略。该策略未经受试者个体化重训练即迁移到实体髋关节外骨骼,在八名健康成年人中测试,间接测热法显示主动辅助相对被动装置使净代谢率降低19.7%(p < 0.001),髋关节机械功率正功率比为0.984,并在训练条件之外的步行速度与地形上保持有效辅助。
GeoHAT 是一个端到端扩散策略框架,用轻量 Fourier 空间编码器把逐像素三维坐标映射为几何 token,再按深度有效性门控注入视觉基础模型特征,无需额外 3D 视觉骨干。
研究提出一种基于模型预测路径积分(MPPI)控制的时空信息规划方法,用于水面无人艇(ASV)搜索并捕获多个漂移目标。规划器通过代价设计耦合目标漂移预测与探索目标,在长时域上优化连续轨迹并直接生成运动学指令,拦截阶段使用纯追踪制导完成物理捕获。仿真中捕获目标数比最强基线多 18%,并在实艇试验中验证了该方法。
作者提出 MRO-GWM,一种以物体为中心的高斯世界模型,用于学习三维刚体对象的动作条件动力学。模型用物体坐标系下的高斯表示任意形状与多物体场景,并通过时序-空间 Transformer 从历史高斯和未来动作预测刚体运动;训练基于多视角重建,需处理遮挡导致的局部观测。
作者提出 Crazyflow,一个基于 JAX 的可微无人机仿真器,把高保真动力学与 GPU 加速结合,可在单 CPU 和 GPU 上扩展到数百万环境或数千架无人机的集群。实机实验显示,它支持解析梯度策略学习,无需域随机化即可实现高精度跟踪,采样式避障速度超过每秒 5 亿步。作者还演示了飞行中强化学习:把实体无人机抛向空中后,从零训练恢复策略仅用 0.37 秒,并在落地前接住。
作者提出 Haptic Sorter 统一基于模型的几何框架,把机器人触觉感知、建模与操作规划结合起来,用于物体形状和位姿未知时的操作。框架用贝叶斯优化引导触觉探索并以超椭圆近似几何边界,用编码物体几何的自适应操作势描述准静态机器人-物体交互,还提出基于模型预测与触觉反馈的在线常微分方程实现实时位姿推断。系统在 2D 机器人分拣任务上部署,通过改变物体几何在仿真和真实多臂装置中验证鲁棒性与泛化性。
论文提出未来经验条件化(FEC),用短时未来视频的隐表示作为闭环策略的条件,用于多步机器人操作中的探索与策略适应。未来片段分三步生成:LLM 推理器基于当前场景状态初始化的任务本体推理、无机器人数字孪生推演目标物体运动、无掩码视频扩散模型合成与机器人一致的未来片段。
WorldArena 2.0 发布,从模态、功能与平台三个维度扩展具身世界模型评测。模态上从纯视觉扩展到视触觉,功能上从策略评估与规划扩展到把世界模型作为交互式强化学习环境用于策略优化,平台上从仅仿真扩展到多种仿真与真实机器人本体。该基准按统一协议评估感知质量、交互效用与跨平台表现,项目页提供代码与演示。
RoboEvolve 将 VLM 规划器与 VGM 模拟器耦合成相互强化的共同进化闭环,用无标注种子图像自举,缓解操作数据稀缺问题。实验显示其将基础规划器提升 30 个绝对点、模拟器成功率平均提升 48%,仅用 500 张无标注种子图像即超过全监督基线,初始强化学习数据减少 50 倍。
BEACON 提出一种理论引导的跨域协同训练框架,用充足源演示与有限目标演示训练基于扩散模型的视觉运动策略,并将协同训练建模为差异感知的重要性重加权问题。方法引入可扩展的实例级差异代理、策略与权重的随机交替更新以及多源扩展,在 sim-to-sim、sim-to-real 和多源操作设置中相比仅用目标数据、固定比例协同训练和特征对齐基线提升了鲁棒性与数据效率。
AffordSim 是一个可扩展的数据生成器与基准,将开放词汇三维可供性预测接入仿真轨迹生成,按自然语言任务描述合成场景、生成可供性查询并采样区域约束抓取,再用运动规划筛选可执行候选。
RoboGene 是一个面向单臂、双臂和移动机器人的智能体任务生成框架,用于在 VLA 预训练前自动产出多样化操作任务。它结合多样性驱动采样、智能体自我反思评估任务质量,以及经人工核验的反馈记忆做执行验证与持续改进,共采集 1.8 万条轨迹,并引入任务可行性与多样性指标。
FlowHOI 是一个两阶段流匹配框架,以第一视角观测、语言指令和 3D Gaussian splatting 场景重建为条件,生成包含手部姿态、物体姿态与接触状态的语义落地手物交互序列。
UniManip 提出以智能体操作图(AOG)为核心的统一框架,用于开放世界机器人操作的任务编排、状态跟踪、执行验证与闭环失败恢复。该方法通过物理接地场景图把高层语义意图落到可执行原语,并结合安全感知局部规划器生成无碰撞轨迹。在 LIBERO-Pro 上取得最优性能,真实实验中任务成功率分别比领先 VLA 模型和分层基线高 22.5% 和 25.0%。
CRAFT-E 是一个模块化神经符号框架,将大语言模型导出的动词-属性-对象知识图谱与 CLIP 视觉对齐、基于能量的抓取推理组合,用于可供性取物。系统给出可解释的 grounding 路径,把抓取可行性纳入可供性推断,并支持不重训的图编辑。
研究提出自动生成机器人规划与执行失败数据的框架,构建了基于RLBench和BridgeDataV2的GuardianFail-36k失败推理数据集,并训练多视角推理视觉语言模型Guardian。Guardian在RoboFail、RoboVQA和新提出的UR5-Fail三个未见真实世界基准上取得最优性能,与基于大语言模型的操作策略结合后,在仿真和真实部署中均提升任务成功率。代码、数据和模型已公开。
作者提出 IndustryNav 仿真环境,包含 24 个仓库场景,用于闭环导航到指定目的地,并引入记录碰撞与近碰撞警告的安全指标。对 11 个主流开源与闭源 VLLM 及 3 个导航基线的实验显示,智能体能到达目标却会撞上移动障碍物,暴露出任务成功与安全导航之间的差距。
该论文提出用虚拟非完整约束(VNHC)解决非抓取式机器人接物问题,直接依据物体被抓取前的状态设计和控制末端执行器运动,无需预测物体轨迹并生成时变机器人轨迹。在平面情形下,该方法可在期望高度接住物体,并使接触瞬间的相对法向速度最小,同一 VNHC 函数只依赖目标接取高度,可覆盖多种初始条件。接触后使用模型预测控制(MPC)使物体与末端执行器停在指定位置,目前已在仿真中验证。
研究团队用864节点触觉-惯性手套以100Hz同步采集70余名参与者、五种技能水平的14000余次击球,提出基于力学的两层框架,从触觉历史中推断驱动球拍与稳定握持的控制并还原其时空力实现。
该论文提出让视频世界模型的潜空间同时兼顾可预测性与像素重建精度,通过表征学习的时间目标配合过去条件化解码器架构实现。在相同训练预算下,推理成本最高降低 5 倍、训练速度提升 7 倍以上,分布外与长时程预测的像素和感知误差降低 15-24%。作者认为时间可预测性应作为视频世界模型潜空间的重要设计准则,并给出将其纳入自编码器训练的具体做法。
研究结合果蝇全脑记录与神经力学数字孪生,测试用内在动机算法训练的智能体能否在虚拟系留球实验中复现果蝇的自主探索行为。智能体从离散低级运动基元库中选择动作,在无外部奖励下用20种内在动机算法训练;其中DIAYN在行为与神经前瞻编码上最接近果蝇,并复现了半球间运动学编码的加减规则。
该项目探索四旋翼飞行器的控制器设计与轨迹生成,采用微分平坦方法,基于航点导航生成最小捕捉轨迹,并用简单PD控制器跟踪轨迹。仿真结果显示该方法能为四旋翼的位置和速度生成平滑轨迹。
EAST 是一个数字孪生框架,把有文献依据的安全证据转化为覆盖感知、指令、环境、动作与时序的故障注入测试,并配有专家评审的安全故障分类和八个可执行算子。
作者提出 Patchwork,一个面向域随机化仿真的资源共享系统,基于 E=T+Δ 表示,用共享模板加补丁记录环境变更,并在 robosuite 与 MuJoCo 上实现。在 LIBERO-plus 和 RoboCasa365 负载上,32 个副本时共享模板执行相比每环境一进程将 CPU RSS 降低 88-92%。实验显示内存增长更多取决于模板多样性与独有资产内容,而非实例数量。
作者提出GEMS框架,将持久化的时空3D高斯溅射(3DGS)地图与智能体推理流程结合,地图只重建一次,之后仅在场景变化区域更新并保存这些改动。智能体流程借助该地图按需渲染新视角,逐步累积证据以回答时空问题,并根据自然语言查询定位物体。
研究团队提出 FLORE 框架,用两只带力传感的 UMI 式手持夹爪和可穿戴追踪器采集无机器人演示,训练以视觉、本体感知和测量力旋量为输入的力反应扩散策略,输出动作与每只手力指令。配套的混合柔顺全身控制器借助真实力/力矩传感器的力误差积分实现单手力跟踪并保持平衡。在三项接触密集任务实机测试中,力反应策略成功率为 80%,同一控制器下仅位置策略为 26.7%。
该论文提出一种用于摩擦接触的平滑解析梯度,仅在后向传播中替换精确接触敏感度,前向硬接触求解与实机可行轨迹保持不变。作者用10万样本、在台式机上训练不到2分钟得到的策略无需微调即可迁移到硬件,机器人在小跑策略下能承受推挤并穿越碎石和湿滑地面;在轨迹优化中,该梯度能找到精确梯度和Signorini松弛梯度遗漏的富接触解。
作者提出 Zero-real Agent Policy(ZAP),用预训练的 27B 参数视觉语言模型配合简单工具接口控制机器人,经监督微调和 GRPO 在简单仿真任务上训练,训练中不使用任何真实机器人数据。
Specola 是一个在仿真中按信号时序逻辑(STL)规范评测机器人行为的工具,提供 Python API 和命令行接口,可接入现有策略执行循环。它给出适配器接口,并已提供 LIBERO、RoboCasa、Isaac Lab、RoboDojo 等九个仿真环境与基准的适配器,用于补充成功率之外的满足程度、参数敏感性和违规要求等信息。
论文提出VPR-Space基准,用于评估月球、火星等地外表面场景下的视觉位置识别(VPR)能力。作者基于太空模拟域(SAD)现有数据构建了16个数据库-查询数据集,覆盖环境、视角变化和光照条件等挑战。