OrbiSim:将世界模型重构为面向具身智能的可微物理引擎
OrbiSim 提出一种机器人仿真范式,把世界模型重构为完全可微的物理引擎,打通结构化场景资产、神经动力学与下游强化学习。整个仿真回路从显式状态转移到视觉观测生成均支持端到端可微,可支持可微接触建模、稀疏奖励下基于梯度的策略优化以及物理推理等任务。实验显示 OrbiSim 在预测保真度和控制性能上显著优于现有世界模型,且对资产配置和物理参数保持一致响应。
OrbiSim 提出一种机器人仿真范式,把世界模型重构为完全可微的物理引擎,打通结构化场景资产、神经动力学与下游强化学习。整个仿真回路从显式状态转移到视觉观测生成均支持端到端可微,可支持可微接触建模、稀疏奖励下基于梯度的策略优化以及物理推理等任务。实验显示 OrbiSim 在预测保真度和控制性能上显著优于现有世界模型,且对资产配置和物理参数保持一致响应。
OxyGen 提出统一 KV cache 管理的推理设计,把 KV cache 作为跨任务、跨控制周期的共享资源,通过跨任务 KV 共享消除共享观测的冗余 prefill,并用跨帧连续批处理在每帧解码预算内推进未完成的语言请求。
一项发表于 IEEE RA-L 2026 并在 IROS 2026 展示的研究提出了一种基于高斯过程(GP)与稀疏路径点的机器人技能适应框架,通过利用轨迹位姿的一阶与二阶解析导数来保持技能的运动学特征。该框架包含三种适应方法:优化智能体、行为克隆智能体和强化学习(RL)智能体。在开抽屉、推立方体和操作横杆三项任务的仿真与实机评估中,其成功率均优于所有基准方法,并展现出高余弦相似度与低速度幅值误差。
TRAIN 提出两阶段深度强化学习框架,通过 TRAIN-Loco 与 TRAIN-Nav 两条流水线,让四足机器人在非结构化地形与有人环境中实现地形感知导航。基准测试对比了四足运动与机器人导航基线,硬件实验验证了其仿真到现实(sim-to-real)迁移潜力。
该研究提出一种基于多智能体强化学习的集中训练分散执行方法,用于随机环境中UAV的避障路径规划,改进自模型预测控制(MPC)思想。各智能体仅与集中规划器通信,通过基于距离加权均场方法的扩展观测规划可行路径,并采用多步价值收敛提升训练效率。对比、消融与实机实验验证了方法的有效性与泛化性能。
作者提出自建实验室(SBL)系统,可根据高层科学目标设计、配置并运行实验室装置,从空房间或已有自驱动实验室起步,补齐实验室布局、数字孪生、机器人技能与实验流程。系统在多种机器人与装置上演示,可从单工作站扩展到多机器人协同的实验室,并通过真实量子点合成实验验证端到端能力。作者称这让人工研究者的角色从手动配置和编程设备自动化转为指定科学目标。
Structural Affinity 是一种针对笼基变形(CBD)的显式正则化方法,通过双笼结构与均值坐标预计算的亲和矩阵耦合内外控制笼运动,使控制柄位移平滑传播到相邻控制柄,大幅减少甚至消除笼自交与网格畸变,且变形时仅增加线性开销。
论文提出EmbodiedMidtrain,通过中训练弥合视觉语言模型(VLM)与视觉-语言-动作模型(VLA)之间的差距。作者先刻画两者数据分布差异,发现VLA数据占据与VLM分布大体分离的紧凑区域,随后构建中训练数据引擎,用轻量可学习的邻近度估计器从大规模VLM池中筛选与VLA最对齐的候选,产出EmbodiedMidtrain-1M数据集用于中训练VLM。
该研究训练只观测关节位置、速度与自身动作短历史的盲装配策略,不使用视觉、力、扭矩或触觉传感,在仿真中用强化学习完成插销、齿轮啮合与螺母拧紧。插销策略零样本迁移到真实世界,73% 试验中成功插入不同形状和尺寸的插销;对照实验显示盲策略对未见零件形状尺寸的泛化更好但可能更慢。
论文提出进度估计器 PRIME,用于机器人操作强化学习中生成稠密奖励信号,从不精确的示范数据中学习精确的任务进度估计。PRIME 在观测状态上构建加权图,按空间邻近性和视觉一致性跨轨迹连接状态,边权重编码空间距离作为转移代价,用最短路搜索近似到达成功的测地距离,其变化可区分前进、停滞与倒退,无需假设进度随时间单调。
arXiv 论文 Learning Robot Metareasoning 提出将最优计算预算的确定建模为半马尔可夫决策过程(SMDP),一次决策同时决定机器人动作承诺时长与求解器分配时间。作者训练了一个以当前状态、执行中规划和低成本规划器统计为条件的强化学习策略,在地面机器人导航、敏捷四旋翼飞行和接触丰富操作三类任务上,该策略随场景需求调整预算,表现优于固定预算基线。
论文提出 Hindsight Inverse JEPA Planning(HIJP),用目标条件逆模型直接从当前与目标观测预测动作,替代潜在世界模型中代价高昂的测试时动作序列优化。
论文提出一种基于强化学习的四足移动操作全身控制框架,用于复杂地形下的四足 loco-manipulation。该框架结合混合任务表示与任务优先级全身学习,协调移动与操作并保持任务一致的末端执行器行为;作者还研制了轻量级四足移动操作平台进行验证,实机实验在最大30度斜坡、台阶和可变形地形等复杂地形上成功部署。
HexaShell 是一个让编码智能体通过命令行控制双臂机器人的轻量框架,在 RoboDojo 全部 42 项任务上取得 39.7% 成功率和 48.0 进度分,为 RoboDojo 新的最优成绩。
研究团队在Shadow Dexterous Hand Lite上仅用本体感觉和二值触觉反馈完成Baoding球旋转,实现零样本仿真到现实迁移。实机单次连续试验完成225次180°旋转(112.5整圈),速度约0.36转/秒,全程无视觉与物体状态信息。作者还对比触觉与纯本体感觉的作用,指出触觉信息最关键的手部区域。
AWAM(Active World-Action Model)提出一种虚拟主动感知范式,主动规划观察位置并在执行前沿规划轨迹想象将看到的内容,把预测的任务相关虚拟相机运动作为对几何条件世界模型的结构化查询,得到可复用的空间先验,压缩为固定记忆后与实时观测通过交叉注意力融合,用于扩散式动作预测。
论文提出 ActiveAlign 数据适配框架,解决主动相机运动产生的初始观察状态与操作策略训练分布不匹配的问题(first-frame distribution sensitivity):在 LIBERO 上把相机重定位直接接到 pi_0.5 前面会使成功率从 46.3% 降到 11.5%。
论文提出面向视觉-语言-动作(VLA)系统的干预式记忆评测协议(IMEP),用于判断记忆是否真正影响机器人决策,涵盖记忆净收益、起效条件、对任务结果的改变以及效应是否针对任务相关事实四个问题。
作者提出 LAW 闭环 VLM-WAM 框架,通过语义子任务进度把语言推理、动作生成和世界建模统一起来,在 50 项 RoboTwin 任务上平均成功率达 94.21%。
arXiv 发布一篇综述,系统梳理长时程机器人视觉-语言-动作(VLA)模型的记忆机制,按记忆范围与持久性将其分为五类代表性范式和一个新兴前沿。综述从记忆特性、架构复杂度和开源成熟度三方面对比代表性VLA记忆系统,发现架构复杂度提升通常伴随开源成熟度下降的取舍,并讨论了高效记忆管理与终身知识演化等构建全生命周期记忆系统的关键挑战。
CoEvolve 是一个把团队协同表示为固定机器人运动技能之上可执行代码的框架,通过验证器引导的协同演化让多模态基础模型实例化协同策略,物理验证评估每次执行转移,被拒绝的行为触发从已接受检查点出发的结构化修订。
LY-GWM-RoboCasa-Human300 结合 Human300 微调的 GR00T-N1.5 动作生成器、动作条件图动力学模型与二元状态奖励评分器,推理时采样 4 个动作块并执行预测状态奖励最高的候选。
NeurIPS 2026 接收的论文 NestedVLA 提出用嵌套超网络按目标任务生成任务自适应的动作专家参数,与冻结的基础 VLA 组合,以参数生成替代参数聚合,缓解多任务训练干扰。
ORD-WM 提出一种学习物体中心刚体动力学的3D世界模型,用于机器人操作任务。它用有符号距离场监督的向量神经元变分自编码器,将每个物体点云编码为由3D向量特征构成的几何感知潜表示,并用动作条件动力学模型预测逐物体的SE(3)运动增量,再将预测的刚体变换解析地施加到当前潜状态上,而非生成无约束的下一潜状态,从而分离持久几何与位姿变化。
SCOPE(Selective Certification Of Program Edits)将失败与成功执行作为互补证据指导程序修订:前沿引导的程序搜索在共享诊断图上标注执行证据以区分已验证进展与未解决检查,选择性行为认证则用有状态 API 回放恢复已记录的响应与变更,检查编辑是否保留了选定的历史成功行为。
论文提出BeJEPA,一种通过无监督强化学习从人体运动先验和机器人交互中学习的目标条件人形机器人行为世界模型,用联合嵌入预测架构(JEPA)学习身体构型与世界放置的共享表示。
GRASP 提出一种面向双臂机器人操作的训练阶段先验注入框架,通过物理锚定的流匹配损失经可微前向运动学(FK)监督工具中心点(TCP)位姿与臂间相对位姿,并引入经 DINOv3 蒸馏的全局查询组与 Grounding DINO 监督的局部交互查询,推理时移除教师模型。仿真与实机长时程双臂任务实验显示两种先验在不同部署条件下互补:完整模型在分布内部部署中表现更优,蒸馏查询分支在强视觉随机化下更适用。
InstAgent 提出一种递归自改进(RSI)智能体操作系统,用智能体行为树(BT)显式建模异构机器人的能力分配、机器人间依赖与交接检查,并通过执行反馈更新协作程序、保留成功修订供后续任务复用。在 20 项真实多机器人任务、3 种高层模型上的实验显示,任务成功率、首次完成率与执行效率均有一致提升。
一篇 arXiv 批判性综述系统梳理了基础模型在自主空间机器人中的架构、物理适配与验证路径,重点覆盖轨道操作与近距离交会任务。文章指出事件相机可在强光照对比下提供及时运动观测,脉冲神经网络为稀疏本地计算提供可能路径,并将验证组织为"仿真-地面-太空"迭代闭环,以卫星捕获案例串联观测、接近、接触与恢复。全文 23 页 7 图,附带源清单与证据文档。
论文提出一种基于随机核的、与架构无关的概率形式化框架,用于统一描述具身基础模型。该框架包含两部分:用条件输出分布与动作实现核刻画模型并诱导任务条件化的机器人策略,以及把预训练、后训练与策略部署连接起来。作者在 OpenVLA 和 DreamZero 上进行了实例化,覆盖自回归动作 token 预测与视频-动作联合生成两种范式。
VLA-Fabric为每条机械臂配置一个完整的视觉-语言-动作(VLA)模型,保留各自的局部感知与动作所有权,通过跨策略边界的显式学习交互实现协调。论文系统研究了交互应发生的位置、同伴信息如何聚合以及交互如何学习,发现共享上下文、同伴特定隐变量与动作阶段交互具有互补的协调作用,并在结构不同的VLA架构上复现了该原理。
该论文提出 MAP(Masked Action Space)接口,把关键点、流、朝向和关键姿态等时空参考统一为同一时间笛卡尔动作空间的部分约束,并将可控操作建模为动作修复问题。
MambaAct 提出用紧凑的 Mamba 动作专家替换 π0.5 中基于 Transformer 的动作专家,保留其预训练的视觉-语言前缀编码器。
CoRL 2026 论文提出 SpatialBEV,通过在每一步查询预测状态周围的鸟瞰图(BEV)特征,用当前几何与语义线索条件化下一步预测,以捕捉越野场景中地形与车辆的复杂交互。
arXiv 论文提出 AnchorQ,通过流反转把参考策略行为映射为状态条件化的潜变量锚点,在锚点附近采样粒子并用价值引导采样实现由粗到细的策略改进。分析表明锚点降低识别复杂度但引入支撑偏差,粒子精化在该偏差与动作类复杂度之间权衡,critic 精度决定 KL 正则价值引导选择的可靠性。
DefFlow 是一个面向可变形物体的目标条件操作框架,通过从示教中联合预测机器人与可变形物体的目标条件三维点流,同时捕捉抓取、释放、重抓等操作决策与到达目标所需的连续精细动作。在绳索、颗粒介质和布料等多类初始与目标配置下,DefFlow 在成功率和目标距离指标上明显优于目标条件动作预测与仅预测机器人流的基线,并在真实机器人上使用真实点云观测和未见过的目标配置完成部署。
该研究提出一套视觉运动模仿学习流程,用于草莓果柄靶向采摘,统一了感知、运动规划与接触操作:从人类遥操作示教采集数据,训练以ResNet-50为视觉骨干的Action Chunking with Transformers(ACT)策略,并在Jetson AGX Orin边缘平台上以15 Hz自主部署。
FCTS 是一个以失败为条件的地形课程框架,利用局部穿越失败自动生成策略下一步应训练的地形,失败的位置、终止模式、机器人状态和周边地形几何共同条件化生成过程,蒙特卡洛树搜索在固定训练预算下探索备选课程轨迹。
论文提出Embodiment-Classifier Guidance,通过训练轻量级本体分类器,在去噪步骤中用分类器梯度引导冻结的π0策略,使其在无需额外示教或参数更新的情况下迁移到新机器人本体。
arXiv 论文提出 RePlanMem-VLA(Replanning-Guided Keyframe Memory for VLA),把策略自身的计划修订转化为在线记忆写入信号:在滚动时域执行中,若相邻动作块对同一未来动作的预测出现异常大的分歧,就视为任务相关事件。