AW-0:将代码规划与视频动作预测耦合的智能体世界动作模型框架
研究提出 AW-0 智能体世界动作模型框架,在统一 mixture-of-transformers 架构中把代码、未来视频和机器人动作建模为三条耦合生成流,由代码专家生成参数化技能例程与控制逻辑,视频与动作专家生成未来视觉状态和低层运动指令。
研究提出 AW-0 智能体世界动作模型框架,在统一 mixture-of-transformers 架构中把代码、未来视频和机器人动作建模为三条耦合生成流,由代码专家生成参数化技能例程与控制逻辑,视频与动作专家生成未来视觉状态和低层运动指令。
研究提出预训练视觉状态编码器 ALPS,在一组 patch token 中统一物理状态信息、语言对齐与像素重建三种能力,仅用静态图像和文本从零预训练 ViT-B/16,并通过跨视角自蒸馏进一步优化。
中国电信人工智能研究院(TeleAI)10 月 20 日官宣,其孵化的首个市场化创新企业伽马智能(Gamma Robtics)近日在上海市徐汇区注册成立,聚焦自进化人形机器人全模型创新及应用,并将与 TeleAI 共建人形机器人实验室。
Dual Exam 基准将多模态智能体与世界模型分开评测:智能体轨在固定环境响应机制下比较 10 种配置、覆盖 1,088 个条目和 15 个报告类别,世界模型轨包含 8 个场景的 400 个案例。
Echo 提出一种框架,把停止和失败两种任务状态信号作为每个动作块的两个维度,与机器人动作一起去噪,从而区分执行中、成功完成和失败三种状态。该方法无需帧级进度标注,通过构建成功、失败和恢复轨迹提供互补监督,并让状态信号比动作更快去噪,使后续动作去噪步骤能基于更干净的状态估计。真实操作实验显示,Echo 能准确预测任务状态并持续提升策略性能。
FocusVLA 提出一种阶段感知的多视角路由框架,从历史动作预测未来交互意图,并据此在动作生成过程中动态协调全局与局部视角。在 RoboTwin 2.0 上,其平均成功率比最强基线 π_{0.5} 提升 10.10 个百分点;实机评测成功率从 71.7% 提升到 85.0%。该框架的意图预测与动态路由模块可在不修改核心架构的情况下集成到现有 VLA 框架中。
HiSTEVE 1.0 是一个分层 VLA 智能体,通过能力感知的智能体框架在 Minecraft 中实现长程自主与原生键鼠控制。其编排层用结构化记忆跟踪进度、由 VLM 规划器在 VLA 能力范围内选择子任务,控制层由单个 VLA 以纯视觉感知执行全部子任务。
研究检验预训练 LeWorldModel(LeWM)对小幅动作变化的复现程度,在 Reacher 与 OGBench Cube 近千个状态上,用 Gram 矩阵在三种扰动尺度下测量动作敏感性。
仙工智能(SEER Robotics)展示其机械臂在无人工干预下完成从取手柄、接粉、布粉、压粉、锁手柄、萃取到清洗的全流程咖啡制作,这是该公司迄今演示的最长多步骤机器人咖啡任务。
该研究提出一套可解释性流水线,发现向动作专家注入任务A的激活可使pi0.5在99.6%的回合(n=1,968)中执行任务A的运动轨迹,且该注入程序绑定绝对工作空间坐标而忽略可见场景,为基准报告的扰动脆弱性提供了机制解释。
同一新闻,精选展示《研究用激活注入机制解析视觉-语言-动作模型》
伊利诺伊大学厄巴纳-香槟分校 Grainger 工程学院的研究者将强化学习与控制理论结合,提出收缩感知强化学习方法 CARL,在保证机器人稳定性的同时将跟踪性能较现有方法提升最多 15%。
Ken Goldberg 转发其博士后 Shuangyu0_0Xie 的工作:她发现 Gemini 4 Argon 在空间机器人查询上表现出色,于是用 Claude 逆向工程其技能库,并实现了 Gemini 4 Argon 报告中的机器人 harness。该 harness 让 Gemini 完成了零样本双臂交接(bimanual handover),现已开源。
SuperMimic 在 129,514 个动作上训练人形全身控制策略,用 1 块 GPU、3 小时超越此前 128 块 GPU、7 天的最优结果,GPU 时数减少超 1000 倍。Pieter Abbeel 转发并称其为游戏规则改变者,指出其关键在于用比常规仿真更快的世界模型,以及通过时间反向传播收集远多于策略梯度的信号。项目页为 https://supermimic.github.io,演示见 https://supermimic.github.io/demo/。
想确认一下:VLA 的 SOTA 是 80% 成功率,对吧?
ConfigWM 提出可配置感知机制,以任务语言描述作为配置信号,引导视觉嵌入映射到任务特定状态空间,选择性保留任务相关信息并抑制干扰。在干扰逐步增强的环境中,现有方法规划成功率显著下降,而 ConfigWM 保持相对稳定,平均比最强竞争方法高 22.3%。物理量探测(Pearson r +0.365)和干扰到干净检索(+75.5%)也有一致提升。
宇树科技 10 月 21 日发布新款人形机器人 H2-X 功夫传奇(守护),官方目前明确给出的核心参数只有最长续航约 8 小时,完整硬件配置、售价和量产交付时间暂未公布。
差评君赴重庆与胜通能源、七腾机器人工程师交流,介绍了面向高危工业巡检的元域智巡方案。该方案先用基于3D高斯等重建技术在电脑中构建数字工厂,由大模型自动识别仪表。
格里菲斯大学博士生李龙、清华大学交叉信息研究院博士生赵启超与复旦大学、同济大学团队提出 Spotter:让具身模型持续自主执行,轻量级本地模型并行监督,VLM 只在出错时介入纠错,避免机器人每步都等待 VLM 推理。
黄仁勋在GTC柏林演讲中宣布英伟达与Agile Robots推出参考人形机器人Agile ONE SN,身高1.4米、体重40公斤、31个自由度,预置Isaac GR00T模型、由Jetson Thor驱动,预计2027年初上市,用于把机器人研究的软硬件搭建时间从几周缩到几天。
Slot-JEPA 将 JEPA 的稠密 patch 表征分解为稳定的语义 slot 与随时间变化的空间掩码,提供可复用的对象结构化接口。基于该接口的 Transition Memory Predictor(TMP)将视觉转移存储为紧凑掩码,用 slot 统计量检索上下文,并以非平衡最优传输(UOT)监督掩码预测与评估候选规划。
2026 物理 AI 与世界模型大会在南京开幕,爱思科技(Agnes AI)在展区展示自研智能体运行框架 Agnes Harness,通过设备接入协议 MHS 将全模态模型能力延伸至机器狗 Go2、机器人小车 Car01 等硬件。
研究提出多智能体世界模型 OverSeer,在智能体第一视角之外加入固定在空间中的辅助相机视角,作为世界中心表征的代理,以提升时间与跨智能体一致性。辅助视角冗余且近似静态,可用只编码相对静态参考图变化的 delta-VAE 高效压缩,减少所需 token 数量。
英伟达发布并开源数据引擎Flora,将原始机器人视频转化为带时间戳动作描述、过程奖励和结果奖励等训练数据,目前已用于训练GR00T系列模型。Flora由动作描述模型、时间分段模型和奖励模型组成,基于Qwen3.5系列视觉语言模型微调,依托512块GB300 GPU每天可标注20万小时数据。
推荐理由:英伟达开源的数据引擎把机器人视频标注成本压到通用大模型的约1/125,并给出多项基准对比,可据此判断数据标注环节的替代空间。
NVIDIA 与 UW Medicine 蛋白质设计研究所推出开放模型 RFD4-Proteina,将可编程蛋白质设计与搜索能力结合,在研究草稿报告的蛋白质结合、小分子结合、酶支架和 DNA 结合四组基准测试中,计算设计成功率和生成吞吐量均高于所评估基线。
NVIDIA 在 GTC Berlin 宣布扩展 Isaac 开源机器人开发平台,新增 Isaac OS 运行时、正式发布的 Isaac Lab 3.0 学习框架,以及基于 DGX Station 的开源参考工作流。
推荐理由:原文列出 Isaac 平台新增的运行时、学习框架与开源工作流,读者可据此判断数据到部署链路的具体变化。
一个机器人项目在仿真中通过进化搜索与AI生成CAD,让机器人迭代设计并测试夹爪等工具以提升任务表现,机器人动作目前仍来自预定义任务控制器。下一步计划用Arctos机器人和3D打印机做实机验证,作者正寻求自动从打印平台取下夹爪手指的建议。
极智嘉以5000万元入股深诣机器人、持股20%三天后,成立刚满9个月的深诣机器人在2026工博会发布自研具身基础模型SE-1,以及聚焦重载物流的多任务具身操作机器人Sculptor和聚焦工业精细操作的双臂机器人Edge。
美国具身智能创企Eka Robotics宣布完成1.5亿美元A轮融资,投后估值约14.5亿美元,由a16z和F-Prime联合领投,Samsung Next等跟投。
逆矩阵与vLLM、智源研究院、北京大学联合发布的物理AI推理系统PhysisServe,在200张GPU上让33B参数的MiniMax H3每隔4.083毫秒完成一个chunk,约每秒245个chunk,等效帧吞吐接近每秒1000帧,稳态输出间隔短于1.3B参数的Wan2.1。
NVIDIA 研究团队提出 JCA 模型,可为任意给定骨架同时生成视频与可回放的 3D 动作,并输出将动作配准到场景的相机。该模型把 3D 动作保留在独立模型中支持任意骨架,通过少量交叉注意力层连接预训练视频模型,动作模型先用纯动作数据学习骨架运动。
特斯拉在年度股东会材料中首次书面确认第三代人形机器人Optimus已为大规模量产做好准备,但未公布具体时间。
清华系具身智能公司千诀科技在2026物理AI与世界模型大会上发布预测式世界模型Polibrain,主打物理规律学习与跨本体复用,不生成完整未来画面,而是在任务相关潜在表征空间中预测状态变化,形成感知、决策、执行与反馈的闭环。
事实证明,只要把几个重要细节做对,仅用基于优势(advantage)的监督学习来提取策略,就能在强化学习(RL)中取得最先进(state of the art)的结果!
从离线数据估计赋能(empowerment)很有用,因为它为学习各状态到达多样化结果的相对"价值"提供了一个无监督目标。但众所周知,使其可计算非常困难。在我们的新论文中,我们提出了一个可计算的估计器,以及一些应用!
CondenseVLA 提出在 VLA 策略解码端加入可学习的历史压缩模块,用可学习查询和多头交叉注意力将 VLM 主干缓存的逐帧特征蒸馏为固定数量的槽位令牌,并用辅助正则惩罚槽位注意力图重叠、去相关槽位嵌入以减少冗余。
VLA-Rolling 是一个轻量级推理框架,通过动作尾部继承、逐动作置信度估计以及基于再加噪和去噪步数分配的置信度引导精修三个阶段复用动作尾部,底层 VLA 模型保持冻结。
Thinker-WM 是一个统一多模态世界模型,通过共享的 Unified Dynamics Transformer 联合建模并生成 RGB、度量深度和机器人动作,同一套参数支持视频-动作联合生成、世界预测、策略推理、动作条件生成、视频到动作生成和逆动力学等功能。
FERPO(Forward Entropy-Regularized Policy Optimization)是一种在线最大熵强化学习算法,通过对critic的值而非动作求导来改进策略,避免价值预测准确但动作导数不可靠导致的策略更新问题。
EMMA框架通过生成数据引擎与训练流程增强视觉-语言-动作(VLA)策略,缓解跨外观机器人操作数据采集成本高的问题。其核心组件DreamTransfer基于扩散Transformer,生成多视角一致且几何合理的操作视频,支持对前景、背景和光照做文本驱动编辑并保持三维结构。
论文提出 PhysWord,一个先推理后动作的机器人基础模型,用原子动作词作为共享语义锚点,将连续物理动态表示与语言对齐。PhysWord 预测后续原子动作词,并将其上下文隐状态与未来观测导出的隐式目标对齐,构建带视觉和可选触觉变体的时序结构化 PhysWord 空间。