SpatialBEV:利用鸟瞰图结构化感知表征提升越野动力学建模
CoRL 2026 论文提出 SpatialBEV,通过在每一步查询预测状态周围的鸟瞰图(BEV)特征,用当前几何与语义线索条件化下一步预测,以捕捉越野场景中地形与车辆的复杂交互。
CoRL 2026 论文提出 SpatialBEV,通过在每一步查询预测状态周围的鸟瞰图(BEV)特征,用当前几何与语义线索条件化下一步预测,以捕捉越野场景中地形与车辆的复杂交互。
arXiv 论文提出 AnchorQ,通过流反转把参考策略行为映射为状态条件化的潜变量锚点,在锚点附近采样粒子并用价值引导采样实现由粗到细的策略改进。分析表明锚点降低识别复杂度但引入支撑偏差,粒子精化在该偏差与动作类复杂度之间权衡,critic 精度决定 KL 正则价值引导选择的可靠性。
DefFlow 是一个面向可变形物体的目标条件操作框架,通过从示教中联合预测机器人与可变形物体的目标条件三维点流,同时捕捉抓取、释放、重抓等操作决策与到达目标所需的连续精细动作。在绳索、颗粒介质和布料等多类初始与目标配置下,DefFlow 在成功率和目标距离指标上明显优于目标条件动作预测与仅预测机器人流的基线,并在真实机器人上使用真实点云观测和未见过的目标配置完成部署。
一篇 arXiv 论文提出用 Gauss 最小约束原理,将机器人操作臂的同时力与运动控制建模为广义坐标(关节空间)下的二次规划(QP)问题,使关节限位、避碰、避奇异等不等式约束能直接纳入求解。仿真在 MuJoCo 中完成并与操作空间(任务空间)方法对比,结果显示该方法可同时保持期望接触力、减小轨迹跟踪误差并满足不等式约束。论文共 8 页 5 图,已投稿至 IEEE ICRA 2027。
PASS-VLN 是一个可通行性感知的局部指令视觉-语言导航(VLN)基准与模型,固定场景、指令、起始位姿和参考路径,只改变机器人本体宽度,要求在通道可行时到达目标、在受阻时提前停止。
该研究提出一套视觉运动模仿学习流程,用于草莓果柄靶向采摘,统一了感知、运动规划与接触操作:从人类遥操作示教采集数据,训练以ResNet-50为视觉骨干的Action Chunking with Transformers(ACT)策略,并在Jetson AGX Orin边缘平台上以15 Hz自主部署。
提出 Shape-Aware Neural Time Fields,一种物理信息神经运动规划框架,为刚体运动学习可复用的行进时间(cost-to-go)表征,显式区分平移与旋转受到的不同几何约束,并与基于采样的规划器配合。
arXiv 论文《Spatial Memory by Agents, for Agents》研究让编码智能体自动设计机器人空间记忆:在固定开发预算下,Designer Agent 编写并迭代修改记忆构建与检索代码,由固定 Query Agent 提供反馈,实现冻结后再基于留出观测历史构建记忆并评测。
一项仿真研究比较了多机器人绘图中单token(组件级)分配与共享token(分解式)分配两种流水线的加速效果,覆盖385幅绘图和1至8台机器人的团队规模。结果显示单token分配的加速收益递减,共享token流水线在更大团队规模下平均加速更高、空闲时间占比更低,但并非对每幅绘图都缩短完成时间。
FCTS 是一个以失败为条件的地形课程框架,利用局部穿越失败自动生成策略下一步应训练的地形,失败的位置、终止模式、机器人状态和周边地形几何共同条件化生成过程,蒙特卡洛树搜索在固定训练预算下探索备选课程轨迹。
论文提出Embodiment-Classifier Guidance,通过训练轻量级本体分类器,在去噪步骤中用分类器梯度引导冻结的π0策略,使其在无需额外示教或参数更新的情况下迁移到新机器人本体。
arXiv 论文 Micro-Localization 演示了利用显微光学观测自然地面纹理实现高精度全局定位,定位精度达到几十微米量级。作者建立了光学放大倍率与图像空间定位不确定度同物理定位精度的关系,并解决了高倍成像带来的标定、相机建模与对焦难题。
arXiv 论文提出 RePlanMem-VLA(Replanning-Guided Keyframe Memory for VLA),把策略自身的计划修订转化为在线记忆写入信号:在滚动时域执行中,若相邻动作块对同一未来动作的预测出现异常大的分歧,就视为任务相关事件。
论文提出RTISSLAM-3D,一个面向搭载空中3D成像声呐、IMU和轮式编码器的轮式机器人的6自由度SLAM系统。系统用球面CFAR检测器将声呐图像化为稀疏3D检测,用于建模声呐波束形状的3D声学里程计、极坐标子图描述子的地点识别,以及3D配准的回环验证,共同构成带姿态因子的6自由度位姿图。
论文提出 RAX(Robot Agent eXploration),一个以扩展在线探索为核心的开源机器人智能体框架,通用编码智能体在不使用动作演示数据、人工设计动作原语或价值函数引导的情况下生成机器人控制代码。
SenseNova 联合研究团队发布报告,评测 GPT-6-Astra 在机器人操作与导航上的具身能力。在统一协议下,团队于涵盖桌面操作、人形、移动平台与灵巧手的 12 个代表性基准上评测,允许从训练集示例进行上下文学习(ICL)并大幅增加执行步数,取得论文所称的空前表现。
Mothership 提出两层自主垃圾收集系统,由电动压缩车搭载两台低速人行道机器人 RoboCarts,负责取运标准两轮垃圾桶、送至卡车并归位回充。离散事件仿真在 2-16 bins/ha 的合成园区布局下量化吞吐量,两车配置服务 20-29 bins/h,三至四车在 80 m 停靠半径下可达 35-49 bins/h,最优停靠半径需与车队规模一并选定。
SpatialScout是一个评测视觉-语言模型(VLM)智能体主动进行物体级3D建图能力的新基准,包含80个多样室内场景和3,140个目标物体。任务要求智能体控制相机探索场景,在共享坐标系中估计物体中心,需协调视角选择、跨视角关联、几何估计与地图修正,并在有限交互预算内完成。
PhysSkin++ 提出一种物理信息框架,通过 Neural Skinning Fields Autoencoder 从静态几何学习连续神经蒙皮场,构建紧凑变形子空间,无需逐物体网络训练或仿真轨迹。
论文提出 Ropedia W0,一个跨人类与多本体机器人的第一人称运动-操作世界基础模型。研究构建了 Xp-Data 数据集,包含 1 万小时第一人称人类数据和 3000 小时机器人数据,配有统一多模态标注与质量控制;用相机位姿编码移动、投影骨架编码操作,机器人骨架结合各本体的前向运动学与人工关键点标注。
FocusGUI 提出一种轻量适配器,通过按步动态加权多模态通道、将关键证据压缩为紧凑潜变量并注入冻结解码器嵌入,实现全模态 GUI 智能体的聚焦感知。在四个全模态骨干模型上,其相对冻结骨干平均将 Type Match 提升 33.2、Exact Match 提升至 3.0 倍,Type Match 较最强现有增强方法提升 30.1。训练仅依赖动作监督,无需模态相关性标注或骨干微调。
论文提出 Anti-Persistence 记忆设计,累积轨迹与结果、按需重建任务指导并在执行后丢弃,以避免存储抽象中的错误被反复复用。作者将错误经抽象、执行、再抽象循环再生的现象称为错误复制(error reproduction),在多个基准与骨干模型上,Anti-Persistence 取得更高的留出任务成功率和所评测记忆设计中最低的平均 LLM 调用成本。
研究者提出 PVBench,一个物理视频基准,从七大领域共 46 个维度定量测量生成视频的物理合理性,涵盖指令与语义保真、行为与因果一致、感知与时序质量、几何与空间一致、材料属性与场状态、运动学与时空持续性,以及力学与守恒定律。
UC Davis与ADI开源Agile-WAM,一个面向接触丰富操作的触觉世界动作模型,通过多尺度多模态预测让视觉用长跨度、触觉用下一帧跨度监督,真机五个任务总体成功率相对提升29.4%。在单张RTX 4090上推理延迟10.35ms、控制频率96.62Hz,比扩散策略DP高约40倍;9个ManiFeel仿真任务与Flexiv Rizon 4真机任务上多项取得最佳或接近最佳成绩。
港科广团队提出UniWAM,用MoT混合Transformer架构把物理推理、未来视觉生成与动作预测整合到一个模型,基于Qwen3-VL-2B-Instruct、Wan2.2-TI2V-5B骨干及动作预测器三大专家模块,配合EgoANT人类第一视角视频自动标注流水线,在人类数据、机器人演示与VQA数据上联合预训练。
StochasticNCBF 以随机神经控制屏障函数实现倒立摆的安全控制,解析随机生成元、安全控制修正与二阶神经屏障传播。复现实验对比无修正、确定性修正和保留随机项三种方案的安全效果。
EgoWAM 研究双臂机器人操作中的一个落地矛盾:Project Aria 眼镜采集的人类第一视角数据便宜且海量,但把人手轨迹重定向成机器人动作再做行为克隆(BC)存在困难,因此该工作把监督通道从动作换成世界。
VLA-Rolling 是一个轻量推理框架,复用流匹配 VLA 模型在滚动规划中被丢弃的动作尾部,通过动作尾继承、逐动作置信度估计以及再噪化与去噪步数分配三个阶段复用去噪进度,底层 VLA 保持冻结。
PhysLDM 提出统一的隐空间扩散范式,用于一次性高保真形变体仿真。其核心是整体时空 VAE,避免标准时间压缩的阶梯伪影,在米级场景上达到约 2.48 mm 重建精度、最高 78 倍 token 压缩。
论文提出 BiDex-100,一个面向双臂灵巧操作的仿真基准,包含 106 个任务,沿泛化、指令遵循、少演示、长程和记忆五条能力轴组织,每个任务配有受控视觉与空间变化的域外变体以评估鲁棒性。
一篇 Perspective 文章提出,Joint-Embedding Predictive Architectures(JEPA)正从表征学习走向支持预测、规划与控制的潜在世界模型,其可解释性研究需从"编码了什么"转向潜在变量如何交互、演化并因果驱动预测。
AffordanceWAM 是一个可供性感知的生成式世界动作模型,通过 Scalar Affordance 与 Affordance Heatmap 在生成的未来世界中表示以物体为中心的时空可供性,把视觉预测锚定到任务相关物体与交互区域。
CoEvo-RSI 提出一种通过智能体驱动的双向历史继承推进模型与执行框架协同演化的递归自我改进(RSI)框架,用元智能体协调框架设计与模型检查点选择或合并,以缓解“脑-体不匹配”问题。
论文提出 HumanoidPose 框架,把视觉当作本体感知,仅从视频恢复人形机器人在世界坐标下的全身关节配置。该方法将预训练人体姿态特征与机器人运动学结合到统一模型中,并把人体动作重定向到十六种不同人形机器人本体,实现完全基于合成数据的可扩展学习;同时利用无标注在线视频通过自训练开发 2D 机器人姿态检测器以提升真实世界泛化。
LearningHumanoidWalking 采用时钟条件化与落点规划的人形行走强化学习方法,并对执行器反电动势进行显式建模。官方权重在 MuJoCo 中完成两百步部署验证,盆骨高度全程保持稳定。
AirCombat 用规则智能体完成从 1v1 到 10v10 的无人机空战群体交战仿真,覆盖近距缠斗与十机对十机场景。系统将空战决策拆解为 48 个离散动作,并引入抽象武器交战模型与编队目标分配机制,用于解释多机对抗下战术决策复杂度的来源。
asRoBallet 通过摩擦感知强化学习实现球形欠驱动机器人的动态平衡控制,从欠驱动动力学与轮-球-地双层接触摩擦出发,推导球形底盘的运动学映射与动态平衡机理。该方法使用近端策略优化(PPO)训练位置保持与速度跟踪策略,并以摩擦域随机化提升策略在不同摩擦条件下的适应性。
在物理仿真中真实运行 ONNX 策略,对人形机器人 G1 的 Double Spin Kick 逐体计算全身角动量,拆解自转与公转、各体组调度与落地冲击。分析指出双旋踢腾空后总角动量被锁定,地面接触相位是动量的注入与吸收窗口。
基于运动先验强化学习的 G1 射手在 60 次点球中全部命中,采用历史编码的守门员扑出 85% 的射门。但两个模型放进官方对抗场景后,20 场比赛零进球,文章用逐拍数据定位了两层分布边界机制。
香港大学 MMLab 团队提出 EgoWild2Dex,直接用 538.9 小时未经刻意编排的人类第一视角操作数据训练双臂灵巧机器人,每个下游任务真机数据不到 1 小时,拆快递、用热熔胶枪固定摆件、制作冷饮三个长时序任务平均成功率 96.7%。