HandMimicX:从自我中心视频学习以物体为中心的灵巧操作策略
HandMimicX 提出以物体为中心的框架,从自我中心人类 RGB-D 视频中学习灵巧操作技能。该方法把强化学习目标定义为物体运动,使技能与具体手部轨迹解耦,并对抓取与操作中的手物交互状态施加约束,以得到更符合解剖结构的手部构型。仿真与真机实验显示,该方法能从人类视频高效学习,并在新的空间构型下迁移技能。
HandMimicX 提出以物体为中心的框架,从自我中心人类 RGB-D 视频中学习灵巧操作技能。该方法把强化学习目标定义为物体运动,使技能与具体手部轨迹解耦,并对抓取与操作中的手物交互状态施加约束,以得到更符合解剖结构的手部构型。仿真与真机实验显示,该方法能从人类视频高效学习,并在新的空间构型下迁移技能。
作者提出 HIPC 实时人形机器人迭代规划与控制框架,将生成模型与运动跟踪耦合为统一的规划与控制范式。HIPC 采用目标条件运动规划,并用规范运动表示训练以规避极端姿态下的万向节锁奇异,同时通过偏差衰减恢复与历史重锚定两种策略缓解实机状态反馈带来的分布外偏移。实验显示 HIPC 在现有方法中取得最优的目标到达精度,并表现出对物理扰动的鲁棒性和跌倒后恢复能力。
论文提出 Hourglass 架构,将跨本体运动规划拆分为本体无关的世界模型与各机器人可微的自运动模板,两者仅通过相机自运动接口耦合。在五种运动类型的七台仿真机器人上,该通用策略成功率比同一世界模型上的模仿学习和扩散策略基线高 3.8–10.6 个百分点,无需专门训练即可匹配各机器人专用策略,并接近参数条件 MPPI 教师 1.4–2.8 个百分点。
作者提出 LEXP,一个通过上下文空间适配从物理经验中学习的框架,将任务级规划与经验模块结合,在模型权重和动作接口固定的情况下复用执行经验生成上下文反馈。在12项真实操作任务中,LEXP 取得 23/36 次成功(63.9%),仅用记忆为 19/36(52.8%),原始 ChatGPT-6-Astra 为 2/36(5.6%)。
研究团队提出 TRACE,一种执行期目标状态风险门控,在保持已学习策略不变的前提下选择性干预。他们先用 PPO 只更新 0.6B VLA 跟踪器的规划头,成功率与跟随率在 EVT-Bench 三个设置上均提升,但分心跟踪场景碰撞率上升。
TinyAstral 提出两阶段方法,先冻结开放权重教师模型并用递归自我改进(RSI)优化其 harness,再蒸馏出 4B 学生模型替换同一 harness 中的教师。在 RoboTwin 上,harness 进化把教师成功率从 33.4% 提升到 63.6%,最终 4B 学生达到 62.8%;在实测部署回合中,学生所用加速器时间约为教师五分之一。
作者提出能力条件异构图控制屏障函数(CC-HGCBF),在共享二阶参考点操作空间中为运动学与驱动能力各异的机器人提供统一安全表示。方法引入径向能力场(RCF),以固定维度刻画各机器人状态相关的有限时域可达速度集,使共享图屏障与去中心化策略无需预定义机器人身份即可适应状态、运动学约束与控制限制变化。
作者提出 Contact Imitation Interface(CIMI)框架,用接触几何与指尖 RGB 视图构建无机器人人类示教接口,并通过接触对齐优先的重定向迁移到机器人手。
STAR 是一种面向预训练 VLA 的免训练推理方法,通过在后层残差更新上做指数移动平均,让后层动作表征继承前层的物体感知更新方向,无需模型更新或架构改动。该方法还用近期本体感知状态调节混合强度,在执行动态快速变化时采用更保守的混合。在机器人操作基准上,STAR 提升了后层物体感知能力,平均任务成功率提高 4.0 个百分点,代码已公开。
作者提出一种与滤波器无关的流程,在运行时用策略置信度调节安全过滤器的保守程度:在滤波器运行设计域(ODD)内,置信度用于换取性能;超出 ODD 时,低置信度会带来额外安全裕度。初步 F1TENTH 仿真显示,该调节式过滤器结合了宽松与保守过滤器的优点。
作者提出 FlapSim,一个模块化开源 MuJoCo 仿真平台,把机器人描述、翼面几何与可组合气动模型整合进确定性仿真流程。
研究团队用五指机械手完成RJ45连接器抓取与插入,在约1700次实机试验中评估了覆盖七个策略族的281个模仿学习策略。受控消融显示观测与动作表征的影响超过常规优化器和采样选择,点云策略中感兴趣区域裁剪、机器人基座坐标系表示和点编码器内归一化各提升成功率70至100个百分点,视觉-语言-动作策略改用绝对动作预测后插入成功率最多提升70个百分点。
推荐理由:约1700次实机试验对比281个模仿学习策略,指出观测与动作表征比优化器和采样选择更能决定实机成功率。
CaPtain 提出一套开放后训练流程,把小型开放视觉语言模型(VLM)训练成代码即策略(CaP)机器人智能体,测试时不依赖 VLA、前沿模型或特权状态。流程先在 GPT-6 Astra 生成的合成轨迹上做监督微调,再用多轮强化学习,并引入读取仿真器特权状态的物理评论器为各次请求分配信用。
WorldBridge 提出一种世界动作模型(WAM),将视频专家与动作专家通过结构化注意力和联合流匹配连接,用于提升机器人在新任务上的泛化能力。在 RoboTwin 2.0 上,仅用分布内视频-动作监督时分布外任务成功率为 25.07%,加入无动作标签的任务视频后升至 55.90%,每任务再加一条带动作标签的示范后达到 70.70%。
桌面机器人正成为具身智能厂商的新支线,主打情感陪伴与效率工具两类功能。乐天派桌面机器人以1799元售价进入市场,灵童念NIA-F01以手办形态提供陪伴交互,大象机器人myCobot系列小型机械臂需二次开发。文章认为消费级产品仍以情感陪伴为主,尚未真正发挥提升生产力的能力,未来需走向模块化并升级物理世界操作能力。
RoboColosseum 是一个分布式评测框架,通过统一策略服务和标准化协议,在多地本地运行的机器人网络上评测通用机器人策略。
推荐理由:该分布式评测框架用 5,699 次配对试验比较 VLA 策略与前沿智能体,揭示跨本体排名不一致与微调后的排序反转。
HoloBoxing 提出一种人形拳击学习配方,在预训练全身控制器基础上训练策略,单张消费级 GPU 上 7 分钟从零完成训练,并公开代码与论文。该配方把可复用的运动技能与任务决策分开:紧凑规划器请求未来的身体点目标,冻结的控制器负责关节级执行。
丰田正推进机器人战略,计划部署40万台机器人,并配套每年64亿美元投入用于工厂自动化,由首席生产官统筹专门团队。从丰田AI机器人业务分拆的瓦尔登机器人(Walden Robotics)已完成3亿美元融资、投后估值11亿美元,其通用机器人已落地丰田北美工厂。丰田研究院开发的基础模型可将高层指令转化为实时物理动作与电机控制,已用于波士顿动力Atlas,也将搭载在自研50公斤级人形机器人Eley上。
北京大学董豪团队公布论文《One Scan is Enough》,用带激光雷达的iPhone扫描一次目标环境,自动生成导航任务并利用重建场景几何信息做强化后训练,无需人工遥操作示范。
推荐理由:一次iPhone扫描替代人工示范,200次真机测试给出25%到85%的成功率对比,可看后训练成本如何下降。
星衍智能推出通用具身 Harness 框架 Auriga,在不针对目标任务预调优、不依赖专家演示、单次执行且不允许环境重置的 Zero-shot 协议下,以 GPT-6 Astra 为基础模型在 RoboDojo 42 项任务、6300 个测试 Episodes 中取得 57.74% 平均任务成功率和 64.00 平均过程评分,两项均领跑榜单。
飞捷科思(Fysics AI)联合复旦大学 CITLab 提出统一世界动作模型 Fysiverse-UniWAM,用一个模型贯通自主导航、移动操作与固定工位灵巧操作。
推荐理由:读者可看到一条不依赖大规模机器人预训练的统一世界动作模型路线,以及导航与操作共享骨干的具体设计。
10月31日,西湖世界模型研究中心在西湖大学云谷校区成立,由于开丞任主任、金耀初任首席科学家。该中心依托三年前成立的自主智能实验室AutoLab,聚焦世界模型与物理智能;AutoLab于2024年底转向“概念世界模型”路线,在隐空间中建立物理概念表征,其孵化的西湖数智Awomo于2026年初成立,累计获超亿元种子轮、天使轮融资,Awomo在四项国际机器人评测集中登顶第一。
基于对GitHub上超过20个主流四足机器人项目的调研,文章按运动学控制、全栈工程、优化算法、强化学习、硬件本体五大流派梳理开源四足技术全景。
KAIST AI 与 Holiday Robotics 提出机器人中心点图(robot-centric pointmap),把 RGB-D 观测变换到机器人坐标系并保留 H×W 网格,逐元素加到 RGB token 上注入预训练 VLA。
ODE Policy 提出用神经常微分方程学习动作的向量场,而不是在离散控制步上直接回归动作值,部署时由上一动作积分得到下一动作,使轨迹天然连续。
推荐理由:该工作把动作建模为神经 ODE 的向量场,让轨迹连续成为结构属性,并给出跨多类任务的对比结果。
商汤Astra在LIBERO-Long++达100%、RoboDojo达81.9%,通用大脑越强,符合标准接口的机器人身体越容易被替换成“外设”。文章以宇树真机数据飞轮、智元3/4研发投入大小脑、银河通用AstraBrain-WBC 0.5用20亿帧动捕数据训练(零样本运动追踪成功率92.58%、推理延迟0.39毫秒)为例,提出执行层自研深度、数据回流率、场景替换成本三个判断指标。
研究团队提出统一框架 uni-robot-agent,用于支持开放权重机器人使用智能体的进一步训练。在无特权输入条件下,开箱即用的 Qwen3.8-Flash-Next 取得 RoboDojo 分数 31.39,超过已公布的 GPT-6 Astra-RoboProbe 结果 28.97,并在 19 项真实任务上表现有竞争力。
Kinetix AI 与 KaiRobotics 展示人形机器人在头顶受限空间下的跌倒恢复能力,相关研究名为《ROOF: Learning Humanoid Fall Recovery under Overhead Constraints》。内容以万圣节主题演示呈现,强调在狭窄空间中完成恢复动作,未披露具体机型参数、成功率或实验条件。
Exin Therapeutics 团队用 Arduino 搭建的手术平台,让 AI Agent 为一只小鼠完成脑部注射,注射点定在 bregma 后方 3.90 毫米、右侧 4.00 毫米、下方 4.30 毫米,五分钟内推注 250 纳升药液。
腾讯混元用开源世界模型Hy-Nomas复现了谷歌Genie 4官网的8组演示并放出同屏对比,在可交互性和内容完整性上接近,但在原生音频、镜头流畅度和画风一致性上仍有差距。
文章围绕富士通、卡内基梅隆大学等机构2026年9月3日发布的综述《Toward Unified Robot Learning: Bridging Representation, Vision-Language-Action, and World Models》,讨论表征学习、VLA与世界模型三条路线各自独立发展带来的衔接难题。
谷歌DeepMind于10月27日发布世界模型Genie 4研究预览版,首次原生支持音视频同步生成,单次连贯世界维持时间从上一代1分钟延长至约2分钟,并支持打字实时修改场景。谷歌还展示了Genie 4与Gemini 4 Argon配合指挥人形机器人下跳棋的实验,但目前仅少数测试者可用,普通用户需Google AI Ultra订阅资格。
启元机器人10月30日推出面向机器人训练的世界模型仿真器PrimeSim,并登顶WorldSimProbe LIBERO榜单。该仿真器为机器人构建可交互、可试错、可持续学习的虚拟世界,用于策略验证与强化学习。测试中利用它进行强化学习,策略成功率从61.7%提升至73.2%。
天津大学与合肥工业大学团队提出FAME,利用Conditional Flow Matching同时生成多个探索锚点,再经A*路径规划、路径聚类和分层选择确定探索路线,论文被NeurIPS 2026接收并入选Spotlight。
文远知行全资子公司景烁科技于10月29日披露数千万美元Pre-A轮融资,由嘉御资本、香港科技园与天狼星资本联合投资,资金用于扩充研发团队并扩大数据集任务类型与场景覆盖。
启元机器人于10月25日完成第5000台机器人下线,从9月20日启元Q1与启元T1发售起用时35天,日产能从10余台提升至200余台。公司称采用通用大模型加自研VLA具身模型的方案,并以HIL-UMI后训练技术提升数据采集效率、用PrimeSim世界模型做仿真推演。
自变量将于2026年11月在硅谷和深圳举办第二届具亮计划·全球具身智能黑客松(Embodied Agent Hackathon),直接提供VLA和WAM具身基础模型的API,选手无需采集数据、无需微调模型即可结合Agent与机器人硬件开发任务。
文章以 Unitree H1、Isaac Sim 2024.1、IsaacLab 和 PPO 为组合,完整走了一遍从 URDF 转 USD、场景搭建、域随机化配置、PPO 训练到 ONNX 导出与 ROS 2 真机部署的 sim-to-real 流水线。
10月29日,深圳市机器人协会与国际先进技术应用推进中心(深圳)联合主办的第11期“FAIR plus × 国先 Demo Hub”产融对接活动落幕,6家新锐企业路演、20余家投资机构参与。
香港大学团队开源GenSfM,用原生3D扩散模型在单一多模态序列中联合去噪物体形状与各视角相机位姿,仅需2至4张无标定图像且无需相机内外参。论文在Toys4k与GSO上评估,相比多视图基线TRELLIS-M新视角PSNR提升3.2–4.5 dB,Chamfer距离中位数降低约64%–74%,位姿Acc@5°超过96%。
推荐理由:该工作把原生3D扩散模型改为形状与相机位姿联合去噪的主推理机制,并公开代码与模型,可供稀疏视图重建参考。