Rollback:用世界模型回溯经验改进机器人策略
Rollback 提出一种策略改进范式,让世界模型回退到关键决策点、分支尝试不同动作并对比结果,从而把反事实结果蒸馏为动作级监督,无需单独学习价值模型。在方块抽取、抛球和桌面冰壶三项真实任务上,成功率分别比最强基线绝对提升 10.67%、11.11% 和 11.85%,抛球与桌面冰壶在训练 8 小时内超过人类玩家平均成功率。
Rollback 提出一种策略改进范式,让世界模型回退到关键决策点、分支尝试不同动作并对比结果,从而把反事实结果蒸馏为动作级监督,无需单独学习价值模型。在方块抽取、抛球和桌面冰壶三项真实任务上,成功率分别比最强基线绝对提升 10.67%、11.11% 和 11.85%,抛球与桌面冰壶在训练 8 小时内超过人类玩家平均成功率。
Era AI Lab团队提出E0.5,一个直接构建在3D基础模型上的几何原生世界-动作模型,把3D几何作为世界建模与动作预测的原生表示,并显式预测未来3D状态与动作。
研究提出 Just Action Model(JAM)框架,把 VLA 与 WAM 的差异拆解为骨干初始化、未来观测目标和推理时是否保留该损失机制三个可分离选择,用预训练视觉骨干加动作专家、以动作损失和前瞻损失训练。
ThinkWorld 是一个 VLA 学习框架,把每个动作思考表示为动力学链(CoD),即一串离散运动 token,用来刻画从当前世界到未来状态的中间动力学,并作为跨本体的通用动作表示。
研究者提出 SO-101 Bench,这是基于真实 SO-101 装置 Isaac Lab 数字孪生的语言条件空间操作仿真基准,包含四类任务、138 个物体、916 个评测回合和 3,629 条仿真示教。
苏州国家实验室、上海人工智能实验室与上海交通大学等联合推出“材华·MatVerse”材料多模态大模型及智能体应用体系,采用“独立编码器+统一解码器”架构,将XRD谱图、电镜图像和分子结构对齐到同一语义空间。
推荐理由:材料给出多模态统一表征架构与19类学科评测基准,可了解材料大模型如何从检索走向机理推理。
哈尔滨工业大学(深圳)与新加坡国立大学等机构提出 SkeLAM,基于 Cosmos-Predict2.5-2B 用约 10 小时机器人交互数据训练,以机器人骨架监督视频中的潜在动作。
UIUC、Google、斯坦福、UC Berkeley 和 CMU 的研究者联合发布综述《Proactive AI for Superintelligent Agents》,系统梳理主动式 AI 的研究脉络,并提出由 Awareness、Anticipation、Agenda、Arbitration、Action、Adaptation 六项能力构成的 6A 框架。
Ropedia 在 10 月 19 日至 23 日的第一届 Ropedia Super Week 上集中发布六项研究,围绕人类第一视角视频如何转化为机器人可用的训练与执行信息。
推荐理由:六项研究集中回答人类第一视角数据如何转成机器人可用的训练与执行信息,并给出跨本体与真机对照结果。
FastHarness 是一个经验驱动的机器人执行框架,用 π0.5 生成动作、GPT-6 Astra 审核纠错,按任务阶段和历史审核结果调整审核间隔。在 RoboDojo 的四个模拟操作任务上平均成功率达 97.19%,高于 GPT-as-Policy 报告中 π0.5 + GPT-6 Astra 的 80%。
清华大学智能产业研究院联合清华电子工程系、中国科学技术大学提出OxyGen,通过统一KV Cache管理让具身模型的动作与语言推理共享前缀计算,论文已被NeurIPS 2026接收。
推荐理由:论文给出统一KV Cache管理方案与多平台实测数据,可供端侧具身推理部署参考。
南方科技大学等机构在 Nature Machine Intelligence 发表 NI-skins 人工皮肤,每秒读取超过1万个传感元件并分级处理信号,从感知到解释约23毫秒。
清华大学研究团队提出 SimpleTouch,在预训练 VLA π0.5 上加入触觉专家,仅用每任务 50 条示范做单阶段训练,无需额外触觉策略预训练或独立对齐阶段。
ECCV'26 论文提出多视角行人检测方法 MV2GF,借助预训练视觉几何基础模型 DA3 的多视角特征与 3D 点图,替代透视投影来聚合 BEV 特征。在训练与测试相机配置不同的设定下,MV2GF 在 GMVD-D、MVPerception、Wildtrack 上的 MODA 分别比此前最优高 4.6、4.7、2.2 个点。
EmbodiedLab 是一个要求机器人“通过行动获取知识”的基准,覆盖 5 个学科、14 个实验装置平台上的 30 个定量科学实验,每个实例的参数都会重新采样,因此结果无法预先得知,但可以精确评分。
作者提出世界动作模型 Video Prediction Policy 2(VPP2),通过大规模操作视频的事件级预训练、将视频模型蒸馏为单步视觉规划器,并用 MoT 架构接入动作模块学习隐式逆动力学。
作者提出 IG-VLA 框架,让视觉-语言-动作模型在视觉表征空间中想象任务相关的未来场景演化,并通过 Scene Gist Memory 将推理结果内化为紧凑的 Scene Gist Token,从而在推理时跳过显式未来想象。
作者提出 JRDB-AVR,一个基于真实 JRDB 机器人数据构建的主动视觉推理基准:具身智能体收到视觉推理问题后,需按时间戳和视角请求有限观测,评估同时考察最终答案与支撑答案的视觉证据。
FlatVPR 提出一种即插即用几何线性残差适配器,对 DINOv2-ViT-S/14 等基础模型特征施加残差变换,并用 Pullback Flatness Loss 压低流形曲率,使相邻锚点间描述子可由线性插值重建。在 NCLT 数据集上,即使锚点间隔达 100m 且存在剧烈季节变化,该适配器仍带来明显性能提升。地图构建被纳入 EM 框架,分为流形适配的连续 M 步与锚点选择准则的 E 步。
ICLR 2026 论文重新检验了“可微仿真器能否给出更好的策略梯度”这一问题,指出不连续动力学带来的偏差并非主要障碍。作者提出轻量测试 DDCG,在非光滑区域切换估计器,仅需一个超参数且小样本下仍可靠;同时提出逐步骤逆方差实现 IVW-H,在可微机器人控制任务中无需显式检测不连续即可稳定方差。结论认为,估计器切换能提升受控实验中的稳健性,而实际部署中方差控制往往更关键。
Prateeth Rao 与 Sachit Rao 提出几何感知极线对应图方法,用极线约束引导对应关系图的构建与剪枝,再由图学习模块生成几何上下文向量,经 MLP 输出旋转和平移以估计相机位姿。
作者提出 ActECC,通过运动学引导的可用范围评估和延迟感知的重规划调度,解决边云协同 VLA 推理中动作块有效范围难确定、重规划请求难调度的问题。实验显示其单动作延迟最多降低 27.4%,云端调用最多减少 45.1%,并降低平均执行误差。
研究团队提出一套面向农业到达与抓取的仿真到现实机器人学习框架,基于 MuJoCo 搭建含多种番茄植株结构的农业环境,用摇杆遥操作采集专家演示。Octo 和 π0.5 两个预训练通用策略先用仿真演示适配,再在 Franka Research 3 机械臂上用真实演示微调。结果显示 π0.5 的任务表现分数高于 Octo,在视角与空间偏移等分布偏移下退化更小,研究还考察了本体感知信息对策略性能的影响。
CLARO 是一个 VLM 智能体,调度开放词汇目标检测、分割、6-DoF 抓取和非抓取推挤等技能,在杂乱环境中定位并取出语言指定的目标。它记录历史动作以支持长程执行,并输出抓取位姿或 3D 路点,从而无需任务特定训练即可迁移到不同机械臂。在动态仿真环境中,CLARO 平均成功率为 89.1%,在高杂乱场景中相对最强对比方法提升超过 16%;在真实机械臂上成功率为 88.8%。
作者提出 PlayPolicy 框架,机器人先通过行为克隆从数分钟人类玩耍数据中学得玩耍策略,再自主部署采集数小时交互数据训练世界模型,推理时由该策略为模型预测控制(MPC)提出候选动作序列。
作者提出一种巡检规划框架,用基于分类变分自编码器(VAE)的学习式相机信息度量替代几何可见性检查,以应对轨道光照剧烈变化导致的巡检失效。该方法在逼真物理仿真器中实现制导、导航与控制架构并测试多种轨道光照与视角,平均亮度达0.57、81.6%的观测高于0.25,而带光照带的几何规划为0.02(3.0%)、纯几何规划为0.04(6.0%)。
该研究将上肢功能活动度估计建模为主动感知问题,用损伤系数参数化健康关节限位的缩减,并集成到机器人交互时使用的人体模型中。作者提出在线主动感知流程,机器人通过反复递物请求主动探测用户,并逐步更新对损伤系数的贝叶斯信念。仿真研究与机器人平台上的概念验证显示,该流程能在真实人机递物中较准确地恢复损伤系数。
研究者提出 CapPro 框架,让视觉-语言-动作(VLA)策略仅凭一段人类演示视频就能适配此前未见的操作任务,无需目标任务的机器人演示或微调。该框架包含阶段感知的人类视频表示模块和视频条件适配模块,前者通过视觉 token 选择与阶段描述监督学习任务相关查询表示,后者将紧凑视频与查询表示注入预训练 VLA 策略的动作条件上下文。
OneDemo 提出一种强化学习框架,把单条成功演示编辑成适配新任务配置的轨迹,学到的编辑器既作任务策略也作可复用的演示生成器。在 15 个 Meta-World 任务上,它平均用 53.7k 次环境交互达到 92.7% 成功率;在 9 个 DexMimicGen 任务上生成演示的平均成功率为 98.4%,用生成数据训练的 BC-RNN 策略在同等数据规模下平均成功率达 99.6%。
DiVeR 提出从采样动作表示的离散度估计决策关键性,并据此重加权验证器学习,把学习重点放在动作选择影响最大的状态上,无需步级标注或额外环境交互。在 LIBERO、RoboCasa 和 Franka Research 3 实机实验中,DiVeR 通过更有效的验证器引导动作选择持续提升任务成功率,验证器推理开销可忽略。
CognitiveReality 将机器人 RGB-D 流构建为语义索引的 Gaussian-TSDF 地图,供 VR 操作者与工具调用语言智能体共享。同一建图程序仅靠配置适配不同平台,可接入机器人 SLAM、关节运动学、动捕或视觉跟踪位姿,并以影子跟踪与关键帧锚定 PnP 应对定位中断,以 2 Hz 维护开放词汇实例身份和逐物体质量。
DGT-Map 提出一种自监督框架,从 RGB-D 观测和运动信号学习全局、方向性且以车辆为条件的可通行性代价地图。它用共享多任务主干学习跨车辆的共同地形特征,再由各车辆专属预测头保留平台相关响应,推理时输出按航向索引的代价地图供方向感知规划器使用。
StepTrigger是一种面向VLM驱动足式机器人的接触状态触发后门攻击,触发信号来自Unitree Go1四足机器人走过密集地形时产生的足地接触压力模式,而非提示词或可见标记。
H2RBench 是一个用于评估人类到机器人(H2R)迁移方法的 Real2Sim 基准,基于真实人类视频演示与仿真机器人演示建立标准化协议,覆盖四类操作任务。
作者提出 Expert-Play Contouring Control(EPCC),把慢速专家演示与快速非专家试玩结合,实现快于演示的执行速度。专家演示训练隐轨迹生成器,其预测被重参数化为与时间无关的任务进展轮廓,试玩数据训练快速动作结果的世界模型,部署时规划器沿该轮廓优化动作并惩罚偏离。
论文提出一种面向单挂车铰接车辆的路径跟踪算法,在挂车侧施加横向控制律,并对牵引车转向角做短时域预测调整,使前进与倒车都能稳定收敛到目标路径。该方法基于几何、无需逐车标定或训练,在高保真物理仿真中直线、圆弧和倒车对接轨迹的稳态或最终横向误差为0.02–0.05 m。作者在小尺度牵引挂车机器人上实测,控制器运行于低成本微控制器,在约200 ms位姿检测延迟下重复倒车对接的横向误差低于13 mm。
作者提出 VLN on the Fly 机载视觉语言导航栈,将指令 grounding、规划与控制保持为可分别检查的阶段:量化 VLM 把指令定位到粗粒度图像单元,深度信息将其抬升为 3D 目标,快速 B 样条规划器生成可行轨迹,预训练强化学习策略在多种四旋翼上跟踪轨迹并输出电机指令。
ForceDelta-VLA 提出修正蒸馏框架,用冻结教师模型的力条件与无力条件两种预测构造显式力修正目标,并另设延迟修正目标处理参考动作不匹配。在九项单臂与双臂接触密集任务上,该系统平均成功率为 82.2%,ForceVLA 基线为 54.4%,第一阶段时序教师直接执行为 70.6%。相比 ForceVLA,完整系统在两个平台上将成功试验的平均峰值接触力降低约 26%。
X-WBC 是一个跨本体人形全身控制基础框架,将相对共享的人体运动语义与本体特定的物理执行分离。它用人类中心命令 token 对齐完整人体运动、机器人参考运动和稀疏 VR 观测,由因果 Transformer 从多机器人混合 rollout 中学习可复用时间结构,轻量机器人专属模块再把共享表示映射到各机器人的本体感知与动作空间。
推荐理由:论文提出跨本体人形全身控制框架,把共享人体运动语义与各本体执行解耦,并在九种仿真本体和四台实机上验证联合训练效果。
研究者提出一种“运动通信”方法,将任意短消息(如智能体当前意图)作为噪声编码进任意预训练策略的动作中,使机器人运动可被远程视觉或动捕检测,且不降低策略性能。该物理信道不依赖无线通信、无需额外硬件或与机器人建立直连。在50 Hz运行的实机上,四台机器人联合以0.8 bits/s的总速率恢复8位消息,并在仿真环境与实机部署中完成验证。