Kinetix AI 发布 KAI World Model,支持移动与操作任务
Kinetix AI 发布 KAI World Model,该模型基于并行视频生成与 4D 空间建模,可同时生成虚拟世界并重建空间场景。模型在数百万视频上预训练,支持纯移动、纯操作以及移动与操作协同任务,并声称可跨任务与跨机器人本体泛化。实机演示包括机械臂自主打开饮料罐和人形机器人实时乒乓球对打。
推荐理由:原文展示了世界模型在机械臂开罐与人形乒乓球对打两类任务上的实机演示,可据此了解其跨任务与跨本体的泛化思路。
Kinetix AI 发布 KAI World Model,该模型基于并行视频生成与 4D 空间建模,可同时生成虚拟世界并重建空间场景。模型在数百万视频上预训练,支持纯移动、纯操作以及移动与操作协同任务,并声称可跨任务与跨机器人本体泛化。实机演示包括机械臂自主打开饮料罐和人形机器人实时乒乓球对打。
推荐理由:原文展示了世界模型在机械臂开罐与人形乒乓球对打两类任务上的实机演示,可据此了解其跨任务与跨本体的泛化思路。
智元于 10 月 27 日发布具身 Agent 框架 Genie Master,让机器人在部署后自主定位失败原因、调整策略并沉淀经验。该框架以具身执行协议 EEP 统一能力、引导、反馈和连续性四类接口,并通过 Harness RSI 与 Policy RSI 两条路线分别把经验保留在提示与记忆、动作策略参数中。
具身智能评测基准RoboDojo最新榜单显示,智元(AGIBOT)的GO-3 Nano Preview以61.90分平均成绩、56.42%平均成功率登顶,超过GPT-6 Astra。在精细操作、长程执行和开放语义理解三个细分维度上,GO-3 Nano Preview分别得分78.65分、68.21分和61.71分,均位列第一。
作者提出世界动作模型 Video Prediction Policy 2(VPP2),通过大规模操作视频的事件级预训练、将视频模型蒸馏为单步视觉规划器,并用 MoT 架构接入动作模块学习隐式逆动力学。
作者提出 IG-VLA 框架,让视觉-语言-动作模型在视觉表征空间中想象任务相关的未来场景演化,并通过 Scene Gist Memory 将推理结果内化为紧凑的 Scene Gist Token,从而在推理时跳过显式未来想象。
作者提出 JRDB-AVR,一个基于真实 JRDB 机器人数据构建的主动视觉推理基准:具身智能体收到视觉推理问题后,需按时间戳和视角请求有限观测,评估同时考察最终答案与支撑答案的视觉证据。
FlatVPR 提出一种即插即用几何线性残差适配器,对 DINOv2-ViT-S/14 等基础模型特征施加残差变换,并用 Pullback Flatness Loss 压低流形曲率,使相邻锚点间描述子可由线性插值重建。在 NCLT 数据集上,即使锚点间隔达 100m 且存在剧烈季节变化,该适配器仍带来明显性能提升。地图构建被纳入 EM 框架,分为流形适配的连续 M 步与锚点选择准则的 E 步。
ICLR 2026 论文重新检验了“可微仿真器能否给出更好的策略梯度”这一问题,指出不连续动力学带来的偏差并非主要障碍。作者提出轻量测试 DDCG,在非光滑区域切换估计器,仅需一个超参数且小样本下仍可靠;同时提出逐步骤逆方差实现 IVW-H,在可微机器人控制任务中无需显式检测不连续即可稳定方差。结论认为,估计器切换能提升受控实验中的稳健性,而实际部署中方差控制往往更关键。
作者提出 ActECC,通过运动学引导的可用范围评估和延迟感知的重规划调度,解决边云协同 VLA 推理中动作块有效范围难确定、重规划请求难调度的问题。实验显示其单动作延迟最多降低 27.4%,云端调用最多减少 45.1%,并降低平均执行误差。
研究团队提出一套面向农业到达与抓取的仿真到现实机器人学习框架,基于 MuJoCo 搭建含多种番茄植株结构的农业环境,用摇杆遥操作采集专家演示。Octo 和 π0.5 两个预训练通用策略先用仿真演示适配,再在 Franka Research 3 机械臂上用真实演示微调。结果显示 π0.5 的任务表现分数高于 Octo,在视角与空间偏移等分布偏移下退化更小,研究还考察了本体感知信息对策略性能的影响。
CLARO 是一个 VLM 智能体,调度开放词汇目标检测、分割、6-DoF 抓取和非抓取推挤等技能,在杂乱环境中定位并取出语言指定的目标。它记录历史动作以支持长程执行,并输出抓取位姿或 3D 路点,从而无需任务特定训练即可迁移到不同机械臂。在动态仿真环境中,CLARO 平均成功率为 89.1%,在高杂乱场景中相对最强对比方法提升超过 16%;在真实机械臂上成功率为 88.8%。
作者提出 PlayPolicy 框架,机器人先通过行为克隆从数分钟人类玩耍数据中学得玩耍策略,再自主部署采集数小时交互数据训练世界模型,推理时由该策略为模型预测控制(MPC)提出候选动作序列。
该研究将上肢功能活动度估计建模为主动感知问题,用损伤系数参数化健康关节限位的缩减,并集成到机器人交互时使用的人体模型中。作者提出在线主动感知流程,机器人通过反复递物请求主动探测用户,并逐步更新对损伤系数的贝叶斯信念。仿真研究与机器人平台上的概念验证显示,该流程能在真实人机递物中较准确地恢复损伤系数。
研究者提出 CapPro 框架,让视觉-语言-动作(VLA)策略仅凭一段人类演示视频就能适配此前未见的操作任务,无需目标任务的机器人演示或微调。该框架包含阶段感知的人类视频表示模块和视频条件适配模块,前者通过视觉 token 选择与阶段描述监督学习任务相关查询表示,后者将紧凑视频与查询表示注入预训练 VLA 策略的动作条件上下文。
OneDemo 提出一种强化学习框架,把单条成功演示编辑成适配新任务配置的轨迹,学到的编辑器既作任务策略也作可复用的演示生成器。在 15 个 Meta-World 任务上,它平均用 53.7k 次环境交互达到 92.7% 成功率;在 9 个 DexMimicGen 任务上生成演示的平均成功率为 98.4%,用生成数据训练的 BC-RNN 策略在同等数据规模下平均成功率达 99.6%。
DiVeR 提出从采样动作表示的离散度估计决策关键性,并据此重加权验证器学习,把学习重点放在动作选择影响最大的状态上,无需步级标注或额外环境交互。在 LIBERO、RoboCasa 和 Franka Research 3 实机实验中,DiVeR 通过更有效的验证器引导动作选择持续提升任务成功率,验证器推理开销可忽略。
DGT-Map 提出一种自监督框架,从 RGB-D 观测和运动信号学习全局、方向性且以车辆为条件的可通行性代价地图。它用共享多任务主干学习跨车辆的共同地形特征,再由各车辆专属预测头保留平台相关响应,推理时输出按航向索引的代价地图供方向感知规划器使用。
StepTrigger是一种面向VLM驱动足式机器人的接触状态触发后门攻击,触发信号来自Unitree Go1四足机器人走过密集地形时产生的足地接触压力模式,而非提示词或可见标记。
H2RBench 是一个用于评估人类到机器人(H2R)迁移方法的 Real2Sim 基准,基于真实人类视频演示与仿真机器人演示建立标准化协议,覆盖四类操作任务。
作者提出 Expert-Play Contouring Control(EPCC),把慢速专家演示与快速非专家试玩结合,实现快于演示的执行速度。专家演示训练隐轨迹生成器,其预测被重参数化为与时间无关的任务进展轮廓,试玩数据训练快速动作结果的世界模型,部署时规划器沿该轮廓优化动作并惩罚偏离。
作者提出 VLN on the Fly 机载视觉语言导航栈,将指令 grounding、规划与控制保持为可分别检查的阶段:量化 VLM 把指令定位到粗粒度图像单元,深度信息将其抬升为 3D 目标,快速 B 样条规划器生成可行轨迹,预训练强化学习策略在多种四旋翼上跟踪轨迹并输出电机指令。
ForceDelta-VLA 提出修正蒸馏框架,用冻结教师模型的力条件与无力条件两种预测构造显式力修正目标,并另设延迟修正目标处理参考动作不匹配。在九项单臂与双臂接触密集任务上,该系统平均成功率为 82.2%,ForceVLA 基线为 54.4%,第一阶段时序教师直接执行为 70.6%。相比 ForceVLA,完整系统在两个平台上将成功试验的平均峰值接触力降低约 26%。
X-WBC 是一个跨本体人形全身控制基础框架,将相对共享的人体运动语义与本体特定的物理执行分离。它用人类中心命令 token 对齐完整人体运动、机器人参考运动和稀疏 VR 观测,由因果 Transformer 从多机器人混合 rollout 中学习可复用时间结构,轻量机器人专属模块再把共享表示映射到各机器人的本体感知与动作空间。
推荐理由:论文提出跨本体人形全身控制框架,把共享人体运动语义与各本体执行解耦,并在九种仿真本体和四台实机上验证联合训练效果。
行元智能10月27日发布面向机器人预训练的跨本体数据引擎Chorus众行,可将智能眼镜、胸戴相机、腕部相机、UMI设备、智能头环等采集的人类操作视频转化为适配不同机器人本体的预训练数据。
研究者提出一种“运动通信”方法,将任意短消息(如智能体当前意图)作为噪声编码进任意预训练策略的动作中,使机器人运动可被远程视觉或动捕检测,且不降低策略性能。该物理信道不依赖无线通信、无需额外硬件或与机器人建立直连。在50 Hz运行的实机上,四台机器人联合以0.8 bits/s的总速率恢复8位消息,并在仿真环境与实机部署中完成验证。
AgiBot Research Team 发布 GE-Act 2.0 世界-动作模型技术报告,其生成与动作组件全部在操作数据上从零初始化训练,由控制导向自编码器 CoAE、单步视觉规划器 SVP 和逆动力学模型 IDM 组成,并用 KASO 联合训练。
推荐理由:原文给出从零预训练世界-动作模型的组件设计与数据规模扩展曲线,可观察零样本跨本体迁移的变化。
作者对 OpenVLA-OFT 和 pi0.5 在分布外 LIBERO-90 任务上的失败逐一标注,归纳出四类失败模式,其中只有执行错位一类能靠一句回顾性语言纠正修复。
该研究提出用仿真中的采样模型预测控制(SMPC)作为自动专家生成大规模离线数据集,再用纯稀疏任务奖励训练离策略强化学习智能体,从而免去稠密奖励的人工设计。高层智能体与低层动态稳定控制器结合后,学到的策略在任务目标上可超过原始最优控制教师。作者在搭载机械臂的 Spot 四足机器人和 G1 人形机器人上完成仿真到现实部署,论文为 CoRL 2026 录用版本。
研究提出接触隐式、基于直接仿真的多重打靶框架 DSMS,将运动学可行的参考动作转换为动力学可行的全身轨迹,并在非线性规划内处理接触、摩擦、碰撞与关节限位,无需预设接触时序。相比现有重定向方法,DSMS 加快运动模仿强化学习训练,策略成功率高、跟踪误差低。作者在 Unitree G1 上实现零样本仿真到现实迁移,完成行走、慢跑、接触丰富的爬行以及 180 度跳跃转身。
研究提出分阶段多智能体训练(SMAT)方法,在物理仿真中联合训练肌肉骨骼人体智能体与双侧髋关节外骨骼控制策略,学习考虑人机协同适应的辅助策略。该策略未经受试者个体化重训练即迁移到实体髋关节外骨骼,在八名健康成年人中测试,间接测热法显示主动辅助相对被动装置使净代谢率降低19.7%(p < 0.001),髋关节机械功率正功率比为0.984,并在训练条件之外的步行速度与地形上保持有效辅助。
该论文提出面向四足机器人经被动臂搬运载荷的 ZMP 建模方法,把被动接口的刚度、阻尼和载荷质量与 ZMP 响应关联起来,并指出轻阻尼被动模态可能与步态谐波重叠。
LaWAM 提出潜在世界动作模型,通过紧凑的潜在视觉子目标而非重建未来视频,把预测动力学暴露给机器人策略。其核心 LaWM 在预训练视觉基础模型的潜在空间中训练潜在动作模型,并复用其前向解码器预测未来观测特征。
GeoHAT 是一个端到端扩散策略框架,用轻量 Fourier 空间编码器把逐像素三维坐标映射为几何 token,再按深度有效性门控注入视觉基础模型特征,无需额外 3D 视觉骨干。
作者提出 PRISM,从冻结的潜在世界模型编码器特征中训练轻量动作头,得到目标条件动作先验,并用其均值和预测不确定性引导动作搜索,再由世界模型评估动作后果。在四个仿真控制任务和两个真实机器人平台上的实验显示,该轻量动作头提升了规划性能,同一融合接口还能在不修改的情况下接入基于相同冻结特征的扩散先验。
作者提出 MRO-GWM,一种以物体为中心的高斯世界模型,用于学习三维刚体对象的动作条件动力学。模型用物体坐标系下的高斯表示任意形状与多物体场景,并通过时序-空间 Transformer 从历史高斯和未来动作预测刚体运动;训练基于多视角重建,需处理遮挡导致的局部观测。
作者提出 Crazyflow,一个基于 JAX 的可微无人机仿真器,把高保真动力学与 GPU 加速结合,可在单 CPU 和 GPU 上扩展到数百万环境或数千架无人机的集群。实机实验显示,它支持解析梯度策略学习,无需域随机化即可实现高精度跟踪,采样式避障速度超过每秒 5 亿步。作者还演示了飞行中强化学习:把实体无人机抛向空中后,从零训练恢复策略仅用 0.37 秒,并在落地前接住。
CoMo3R-SLAM 是一个面向户外多智能体系统的协作单目稠密 SLAM 系统,以学习式前馈三维重建先验为核心,用稠密点图锚定各智能体间的尺度,并提供足以几何验证智能体间关联的对应关系。
论文提出未来经验条件化(FEC),用短时未来视频的隐表示作为闭环策略的条件,用于多步机器人操作中的探索与策略适应。未来片段分三步生成:LLM 推理器基于当前场景状态初始化的任务本体推理、无机器人数字孪生推演目标物体运动、无掩码视频扩散模型合成与机器人一致的未来片段。
WorldArena 2.0 发布,从模态、功能与平台三个维度扩展具身世界模型评测。模态上从纯视觉扩展到视触觉,功能上从策略评估与规划扩展到把世界模型作为交互式强化学习环境用于策略优化,平台上从仅仿真扩展到多种仿真与真实机器人本体。该基准按统一协议评估感知质量、交互效用与跨平台表现,项目页提供代码与演示。
RoboEvolve 将 VLM 规划器与 VGM 模拟器耦合成相互强化的共同进化闭环,用无标注种子图像自举,缓解操作数据稀缺问题。实验显示其将基础规划器提升 30 个绝对点、模拟器成功率平均提升 48%,仅用 500 张无标注种子图像即超过全监督基线,初始强化学习数据减少 50 倍。