HandMimicX:从自我中心视频学习以物体为中心的灵巧操作策略
HandMimicX 提出以物体为中心的框架,从自我中心人类 RGB-D 视频中学习灵巧操作技能。该方法把强化学习目标定义为物体运动,使技能与具体手部轨迹解耦,并对抓取与操作中的手物交互状态施加约束,以得到更符合解剖结构的手部构型。仿真与真机实验显示,该方法能从人类视频高效学习,并在新的空间构型下迁移技能。
HandMimicX 提出以物体为中心的框架,从自我中心人类 RGB-D 视频中学习灵巧操作技能。该方法把强化学习目标定义为物体运动,使技能与具体手部轨迹解耦,并对抓取与操作中的手物交互状态施加约束,以得到更符合解剖结构的手部构型。仿真与真机实验显示,该方法能从人类视频高效学习,并在新的空间构型下迁移技能。
作者提出 HIPC 实时人形机器人迭代规划与控制框架,将生成模型与运动跟踪耦合为统一的规划与控制范式。HIPC 采用目标条件运动规划,并用规范运动表示训练以规避极端姿态下的万向节锁奇异,同时通过偏差衰减恢复与历史重锚定两种策略缓解实机状态反馈带来的分布外偏移。实验显示 HIPC 在现有方法中取得最优的目标到达精度,并表现出对物理扰动的鲁棒性和跌倒后恢复能力。
论文提出 Hourglass 架构,将跨本体运动规划拆分为本体无关的世界模型与各机器人可微的自运动模板,两者仅通过相机自运动接口耦合。在五种运动类型的七台仿真机器人上,该通用策略成功率比同一世界模型上的模仿学习和扩散策略基线高 3.8–10.6 个百分点,无需专门训练即可匹配各机器人专用策略,并接近参数条件 MPPI 教师 1.4–2.8 个百分点。
作者提出 LEXP,一个通过上下文空间适配从物理经验中学习的框架,将任务级规划与经验模块结合,在模型权重和动作接口固定的情况下复用执行经验生成上下文反馈。在12项真实操作任务中,LEXP 取得 23/36 次成功(63.9%),仅用记忆为 19/36(52.8%),原始 ChatGPT-6-Astra 为 2/36(5.6%)。
研究团队提出 TRACE,一种执行期目标状态风险门控,在保持已学习策略不变的前提下选择性干预。他们先用 PPO 只更新 0.6B VLA 跟踪器的规划头,成功率与跟随率在 EVT-Bench 三个设置上均提升,但分心跟踪场景碰撞率上升。
作者提出CONSORT,一种面向GPS拒止环境下协同定位的多机器人规划方法,通过只对均值状态轨迹优化、仅在终端约束评估时传播协方差,把信念空间问题转为可求解形式。
TinyAstral 提出两阶段方法,先冻结开放权重教师模型并用递归自我改进(RSI)优化其 harness,再蒸馏出 4B 学生模型替换同一 harness 中的教师。在 RoboTwin 上,harness 进化把教师成功率从 33.4% 提升到 63.6%,最终 4B 学生达到 62.8%;在实测部署回合中,学生所用加速器时间约为教师五分之一。
作者提出能力条件异构图控制屏障函数(CC-HGCBF),在共享二阶参考点操作空间中为运动学与驱动能力各异的机器人提供统一安全表示。方法引入径向能力场(RCF),以固定维度刻画各机器人状态相关的有限时域可达速度集,使共享图屏障与去中心化策略无需预定义机器人身份即可适应状态、运动学约束与控制限制变化。
作者提出能力感知备份可恢复性过滤器(CA-BRF),在共享笛卡尔操作空间中构造备份可恢复集,并据此筛选候选控制,使每台机器人保留一条符合自身运动学与驱动约束的认证恢复机动。该方法在候选动作与备份动作之间选择可行动作插值并协调同时发生的交互,从而在名义安全约束优化不可行时仍保证离散时间闭环系统的递归可行性与安全性。仿真验证覆盖最多 30 台异构机器人,实验涉及五种不同运动学类别。
作者提出开源嵌入式无人机自动驾驶仪 Veloxity,完全用内存安全的 Rust 语言编写,为自主无人机提供最小化、模块化的基础。研究在仿真、硬件测试台和户外航点跟踪飞行中将其与 C++ 编写的同类自动驾驶仪对比,结果显示功能对等且性能更优,表明内存安全语言可用于可靠且高性能的自主航空航天固件。
作者提出 Contact Imitation Interface(CIMI)框架,用接触几何与指尖 RGB 视图构建无机器人人类示教接口,并通过接触对齐优先的重定向迁移到机器人手。
STAR 是一种面向预训练 VLA 的免训练推理方法,通过在后层残差更新上做指数移动平均,让后层动作表征继承前层的物体感知更新方向,无需模型更新或架构改动。该方法还用近期本体感知状态调节混合强度,在执行动态快速变化时采用更保守的混合。在机器人操作基准上,STAR 提升了后层物体感知能力,平均任务成功率提高 4.0 个百分点,代码已公开。
作者提出一种与滤波器无关的流程,在运行时用策略置信度调节安全过滤器的保守程度:在滤波器运行设计域(ODD)内,置信度用于换取性能;超出 ODD 时,低置信度会带来额外安全裕度。初步 F1TENTH 仿真显示,该调节式过滤器结合了宽松与保守过滤器的优点。
作者提出 FlapSim,一个模块化开源 MuJoCo 仿真平台,把机器人描述、翼面几何与可组合气动模型整合进确定性仿真流程。
研究团队用五指机械手完成RJ45连接器抓取与插入,在约1700次实机试验中评估了覆盖七个策略族的281个模仿学习策略。受控消融显示观测与动作表征的影响超过常规优化器和采样选择,点云策略中感兴趣区域裁剪、机器人基座坐标系表示和点编码器内归一化各提升成功率70至100个百分点,视觉-语言-动作策略改用绝对动作预测后插入成功率最多提升70个百分点。
推荐理由:约1700次实机试验对比281个模仿学习策略,指出观测与动作表征比优化器和采样选择更能决定实机成功率。
CaPtain 提出一套开放后训练流程,把小型开放视觉语言模型(VLM)训练成代码即策略(CaP)机器人智能体,测试时不依赖 VLA、前沿模型或特权状态。流程先在 GPT-6 Astra 生成的合成轨迹上做监督微调,再用多轮强化学习,并引入读取仿真器特权状态的物理评论器为各次请求分配信用。
WorldBridge 提出一种世界动作模型(WAM),将视频专家与动作专家通过结构化注意力和联合流匹配连接,用于提升机器人在新任务上的泛化能力。在 RoboTwin 2.0 上,仅用分布内视频-动作监督时分布外任务成功率为 25.07%,加入无动作标签的任务视频后升至 55.90%,每任务再加一条带动作标签的示范后达到 70.70%。
RoboColosseum 是一个分布式评测框架,通过统一策略服务和标准化协议,在多地本地运行的机器人网络上评测通用机器人策略。
推荐理由:该分布式评测框架用 5,699 次配对试验比较 VLA 策略与前沿智能体,揭示跨本体排名不一致与微调后的排序反转。
HoloBoxing 提出一种人形拳击学习配方,在预训练全身控制器基础上训练策略,单张消费级 GPU 上 7 分钟从零完成训练,并公开代码与论文。该配方把可复用的运动技能与任务决策分开:紧凑规划器请求未来的身体点目标,冻结的控制器负责关节级执行。
北京大学董豪团队公布论文《One Scan is Enough》,用带激光雷达的iPhone扫描一次目标环境,自动生成导航任务并利用重建场景几何信息做强化后训练,无需人工遥操作示范。
推荐理由:一次iPhone扫描替代人工示范,200次真机测试给出25%到85%的成功率对比,可看后训练成本如何下降。
飞捷科思(Fysics AI)联合复旦大学 CITLab 提出统一世界动作模型 Fysiverse-UniWAM,用一个模型贯通自主导航、移动操作与固定工位灵巧操作。
推荐理由:读者可看到一条不依赖大规模机器人预训练的统一世界动作模型路线,以及导航与操作共享骨干的具体设计。
新智元报道了SpatialScout基准,它把相机交给AI进入未见过的虚拟房间,由模型自主决定转向、移动和拍摄,并提交目标物体的三维坐标。正式评测选取80个室内场景、3,140个目标实例,来自iTHOR、RoboTHOR、ArchitecTHOR、ReplicaCAD和ProcTHOR,每个任务最多100轮交互,评分同时看平均IoU和IoU超过0%、50%、90%的比例。
ICLR 2026论文SAGE-3D提出把3DGS渲染、源网格碰撞体和人工语义标注解耦拼装成可执行导航环境,并建模为语义与物理增强的POMDP。其物体级语义锚定提供类别、实例ID和边界框,物理感知执行拼接经CoACD凸分解从源网格提取碰撞体嵌入3DGS场景。
KAIST AI 与 Holiday Robotics 提出机器人中心点图(robot-centric pointmap),把 RGB-D 观测变换到机器人坐标系并保留 H×W 网格,逐元素加到 RGB token 上注入预训练 VLA。
ODE Policy 提出用神经常微分方程学习动作的向量场,而不是在离散控制步上直接回归动作值,部署时由上一动作积分得到下一动作,使轨迹天然连续。
推荐理由:该工作把动作建模为神经 ODE 的向量场,让轨迹连续成为结构属性,并给出跨多类任务的对比结果。
研究团队提出统一框架 uni-robot-agent,用于支持开放权重机器人使用智能体的进一步训练。在无特权输入条件下,开箱即用的 Qwen3.8-Flash-Next 取得 RoboDojo 分数 31.39,超过已公布的 GPT-6 Astra-RoboProbe 结果 28.97,并在 19 项真实任务上表现有竞争力。
Kinetix AI 与 KaiRobotics 展示人形机器人在头顶受限空间下的跌倒恢复能力,相关研究名为《ROOF: Learning Humanoid Fall Recovery under Overhead Constraints》。内容以万圣节主题演示呈现,强调在狭窄空间中完成恢复动作,未披露具体机型参数、成功率或实验条件。
文章围绕富士通、卡内基梅隆大学等机构2026年9月3日发布的综述《Toward Unified Robot Learning: Bridging Representation, Vision-Language-Action, and World Models》,讨论表征学习、VLA与世界模型三条路线各自独立发展带来的衔接难题。
天津大学与合肥工业大学团队提出FAME,利用Conditional Flow Matching同时生成多个探索锚点,再经A*路径规划、路径聚类和分层选择确定探索路线,论文被NeurIPS 2026接收并入选Spotlight。
香港大学团队开源GenSfM,用原生3D扩散模型在单一多模态序列中联合去噪物体形状与各视角相机位姿,仅需2至4张无标定图像且无需相机内外参。论文在Toys4k与GSO上评估,相比多视图基线TRELLIS-M新视角PSNR提升3.2–4.5 dB,Chamfer距离中位数降低约64%–74%,位姿Acc@5°超过96%。
推荐理由:该工作把原生3D扩散模型改为形状与相机位姿联合去噪的主推理机制,并公开代码与模型,可供稀疏视图重建参考。
BestRand 是一种稳定且低成本的基准压缩方法,通过降低随机采样中高误差的长尾风险,在 70 多个文本、多模态和智能体基准上验证,并扩展至 VLA 评测。相比对比方法,其高误差风险降低 50.2%、估计误差平均降低 16.4%,构建成本仅为 51.3%。作者还推导了子集估计全基准分数时误差分布的解析近似,指出随机采样多数情况下误差较小但存在罕见大误差。
Auriga 是一个任务无关的智能体外壳,在 RoboDojo 零样本操作上以 57.7% 成功率(64.0 Score)排名第一,将同一模型相对参考外壳的成绩提升一倍以上。
推荐理由:该技术报告给出任务无关智能体外壳在零样本操作上的量化结果,并对比了场景随机化下学习策略的退化幅度。
人类应该比机器人更协调。 不过在SIGRobotics可不是这样。@_robert_molina 用强化学习训练了我们的一只机械臂,让它能在球拍上连续颠乒乓球长达7分钟。 看这段延时视频,它就一直颠个不停。
爱沙尼亚塔尔图大学与意大利技术研究院团队让飞蛾仿生机器人通过人工循环系统输送吡咯等化学原料,在紫外光照射处原位合成聚吡咯紫外传感器,使机器人获得原本没有的感知能力。
研究提出 REA(Routed Embodied Agent)统一运行时,让负责推理的 System 2、具身路由 System 1 与反应式 System 0 策略在同一框架下协作,核心规则是运行中的策略不等待大脑。
那不勒斯费德里科二世大学与巴勒莫大学团队用弹簧-质量爬行模型分析 Pieris brassicae 毛毛虫在木材、钢、石板和玻璃上的运动,发现表面粗糙度与爬行性能强相关,玻璃因微观粗糙度不足以让原足抓附而难以通行。
宾夕法尼亚大学工程团队提出Fast Feature Field(F³),将事件相机每秒数千万个信号转换为现有计算机视觉软件可用的通用表征,论文发表于Science Robotics。
复旦大学与新加坡南洋理工大学团队提出SimpleVLN,不改动多模态大模型核心结构、不新增专用导航模块,仅通过历史帧筛选、动作块决策与SFT、DAgger、强化学习三阶段训练完成视觉语言导航。
清华大学、智元与无问芯穹联合提出群体经验学习(CEL)范式,并在 96 台机器人上完成原型验证。在手机包装任务中,训练后策略在两台未参与训练的同型号机器人上完成 120 次测试,成功率从 79.2% 提升至 98.3%,失败次数从 25 次降至 2 次。
上海交通大学与上海创智学院等提出Value as Memory(VaM),把价值模型的近期预测序列作为任务进度记忆输入动作策略,并配合离线到在线的真机强化学习流程。在纸盒装配任务中,VaM连续自主运行4小时,任务成功率超过95%。消融显示,相比移除价值缓存的版本,最终任务成功率提升29.4%;在线RL方案在三个任务上的平均成功率提升32.8%,平均每个梯度步对应的真实世界时间成本降低57.8%。