用 EBench 评测前沿智能体:从直接控制到结合策略的 harness
该报告在 EBench 上评测 GPT-6-Astra 作为机器人智能体,采用与后训练策略相同的视觉和本体感知观测协议,比较直接控制与结合策略的 harness 两种配置。
该报告在 EBench 上评测 GPT-6-Astra 作为机器人智能体,采用与后训练策略相同的视觉和本体感知观测协议,比较直接控制与结合策略的 harness 两种配置。
作者提出 Zero-real Agent Policy(ZAP),用预训练的 27B 参数视觉语言模型配合简单工具接口控制机器人,经监督微调和 GRPO 在简单仿真任务上训练,训练中不使用任何真实机器人数据。
研究提出基于3D高斯泼溅(3DGS)的数据生成流程,用于腕部相机VLA策略的精细接近任务适配。该方法重建真实工作空间并从机器人对齐位姿渲染腕部相机观测,与平滑结构化接近轨迹配对用于VLA微调,并加入指令条件化的接近验证器在物理接触前判断终止。
RoboDoctor 是一个免训练框架,在固定模型权重下通过诊断、动作执行和持久经验记录三个修订目标,让通用机器人策略与语言模型智能体在执行中自适应。在 54 条 RoboDojo-Sim 任务条目上,该框架取得五维平均分 57.10、原生成功率 49.44%,记录交互展示了策略切换、选择性纠正和抓取修正。作者指出这些结果刻画的是所评估系统中的执行期自适应,仍需对照实验来分离跨回合经验的贡献。
该研究提出面向深度强化学习(DRL)的任务分解框架,将迁移学习(TL)与奖励重设计(RR)结合,以提升障碍环境下的学习效率与鲁棒性。
作者提出便携手持设备 DEX-PHD,集成灵巧机器人手、逐指连续控制和多模态记录,可采集本体感知信息、指尖接触数据与腕部相机视频,操作者通过关节级映射直接控制机器人手。其无缆设计支持在多种环境中采集数据,作者在需要多指协同的接触密集型任务上演示,并将采集的示范通过开环回放在实体人形机器人上执行,结果显示开环回放保留了手指运动的主要时序模式和任务相关接触。
论文提出语义失效分析是可变形物体灵巧操作走向成熟的关键一步,并用概念验证实验支持这一主张。与刚体操作不同,线缆、塑料件、布料等会因材料、几何和行为差异出现屈曲、塑性变形、压力变化和撕裂等多样且难以检测的失效模式,需要不同的纠正策略。作者定义了语义失效分析的组成部分与挑战,并给出实验结果说明其作为研究方向的潜力。
Zero-HLM 提出 real-to-sim-to-real 框架,将手机拍摄与仿真源演示转化为人形移动操作的可扩展训练数据。研究生成 4800 条经物理验证的演示,在 Unitree G1 的三项任务上实现零样本迁移;仿真训练的 GR00T N1.7 平均全任务成功率为 66.7%,而真实数据训练为 46.7%。
该研究提出用因子图对柔性线缆(DLO)进行概率建模,在重建线缆形状的同时估计作用其上的三维力的大小、方向与位置。由于线缆细且无驱动,应变片和驱动读数通常不适用,方法仅使用一种传感信息,并在加入测量噪声、线缆沿指定路径运动的仿真测试中完成力估计。作者称该通用方法可适用于更广泛的任务。
研究者提出JevVLA,一种面向视觉-语言-动作(VLA)策略的轻量能量式适配框架,在冻结基座策略的情况下学习一个可微标量能量函数,同时用于离散候选比较和连续动作修正或生成。
MMGNet提出多模态抓取合成网络,通过分层图像到3D特征注入和旋转抓取度建模,把多尺度图像特征融入3D表示并联合预测抓取接近方向与平面内旋转。在GraspNet-1Billion上使用RealSense数据取得60.34的平均AP,超过所有对比方法;在对抗性抓取物体的实机实验中,抓取成功率比AnyGrasp高8.46个百分点。消融实验显示两个模块带来互补增益,代码、模型和数据将在论文发表后放出。
作者提出 PhysLadder,一个用于评估接触密集操作物理交互能力的分层仿真-实机基准,包含 16 项家务任务,分为接触选择与几何对齐(L1)、持续接触下的力调节(L2)、接触重构与力调节协同(L3)三个累积层级。
ARPG 提出将动作表征学习与动作生成分离:先在大规模人类操作数据上预训练动作表征编码器,再冻结该编码器,并在其表征空间中训练一个 130M 参数的生成主干来学习任务条件动作分布。
AuRA 是一套自动化机器人交互与数据准备系统,用于数字孪生重建,结合执行感知抓取选择、由机器人状态推导的夹爪运动测量以及配准的交互前几何与外观先验。在 13 个可变形物体上,每个成功重建资产的人工投入和实际采集时间分别减少 88.5% 和 55.4%;相比人工采集的 PhysTwin 基线,在已知夹爪运动下的未来预测中,9 项指标有 7 项提升,单向 L1 Chamfer 距离降低 28.1%。
作者提出 ThinkLocoManip,一个面向足式移动操作的全身体控制智能体框架,采用推理与执行交替的范式处理大规模环境中的长程任务。该框架把感知、导航、操作和移动编排为可组合的工具,并设计跨域协调技能与关键帧思考机制以支持错误恢复。实机实验中其成功率为77%,超过最强 plan-then-act 基线37.1%的两倍。
研究团队提出RynnVLA-Latent框架,通过RynnLAM从视觉变化中学习连续、3D接地的潜在动作,无需原生机器人控制信号,将30.1K小时人类、机器人和仿真视频转为745.52M条潜在动作描述用于策略预训练。
推荐理由:该研究用3D接地的潜在动作把异构交互视频转成预训练监督,为VLA模型绕开动作标注稀缺提供了一条可复用的路径。
AdaPolicy 提出一种动作驱动的前瞻策略框架,通过级联的下一动作块预测塑造未来感知表征,训练时无需编码未来观测,推理阶段零额外开销。方法在 MetaWorld、RoboTwin 2.0、LIBERO 和真实部署中取得一致提升,在耳机装配、穿鞋带等毫米级精度任务上最高提升 14 个百分点。
HuGe 是一组人形通用视觉-语言-动作模型(VLA),在超过 2000 小时的第一视角人类与机器人数据上预训练,通过预测潜在运动 token 驱动预训练全身控制器并输出手部控制信号。
作者提出PS-DLO,一种结合物体属性与空间感知的可变形线性物体(DLO)操作策略,通过对比图文学习将初始观测映射为DLO属性的类别描述,并用SAM3从未来观测中提取掩码引导特征、蒸馏进动作专家。在单臂与双臂平台的九个真实任务上,PS-DLO平均成功率为68.9%,比最强基线高20.0个百分点;在蝴蝶结解结的七种视觉偏移条件中,有六种成功率高于基线。
ElevateHead 提出一种动作头,在学到的决策点一次性选定任务执行方式并在整个回合内保持不变,用户也可将该选择作为输入设定。在留出的 Franka Kitchen 任务上,它完整完成四个子任务的回合比例为 45.2%,BeT 为 29.3%(+0.160,95% CI [+0.129, +0.188]);在留出的积木堆叠任务上,版本 4 与 BeT 相当但未超过。
作者提出一个任务与运动规划(TAMP)框架,把任务导向的交互式信息获取与规划执行交替进行,基于PDDLStream乐观规划交互动作,并在执行中验证结果、保留仍可用的动作、只重规划后续连接。该框架在仿真和真实机器人上测试了判断物体是否可移动、笔是否有墨水、抽屉能否打开、容器是否为空等任务,显示交互驱动的状态更新与恢复重规划能支持不确定结果和外部扰动下的持续执行。
RoboLongR 提出离线到在线的奖励学习框架,通过因果一致性让奖励进度与执行历史支持的前置条件对齐,引导策略从行为克隆过渡到在线强化学习。该方法在 88 个 RLBench 任务和 Open-X 数据上预训练,在未参与奖励预训练的 18 个长程任务上平均成功率为 31.8%,比最强对比基线高 9.2 个百分点;在四个真实机器人任务上成功率为 57.5%,比对比方法高 32.5 个百分点。
AdaDexTrack 提出一种调制器在环框架,用于语言条件下的灵巧操作跟踪,通过参考调制、物体隐变量调制和位置目标调制三类反馈修正,缓解合成参考噪声、人到手重定向的本体偏差和固定参考跟踪的误差累积。
作者提出 Open-World Law-to-Action(L2A)框架,由视觉语言模型为每个可动部件提出运动方式、运动规律项和可能的锁定因素,再通过带闭式证据的贝叶斯线性回归在线辨识部件规律,触觉可推翻先验。
一篇综述梳理了113种基于学习的灵巧操作方法,覆盖所用灵巧手、训练仿真器与结果报告方式。作者指出,近半数工作采用同一套配方:在GPU仿真器中对特权状态做强化学习,再蒸馏为仅用视觉的学生模型迁移到硬件,且几乎都集中在同一个仿真器上。
作者提出多约束灵巧策略优化方法 MDPO,将灵巧操作建模为同时包含累积代价约束与逐状态代价约束的多约束策略优化问题,并把多约束投影集成到策略优化过程中。在 ReDMan 上的安全关节控制、手指安全与抓取任务实验中,MDPO 相比基线取得更好的约束满足,同时保持有竞争力的任务表现,代码已公开。
MOTIO 是一个智能体技能工程系统,可将普通人类动作视频、真实感 3D 资产、动作参考和可复用机器人技能转化为可执行的人形移动操作程序,无需任务专用遥操作或机器人演示采集。
作者提出 Tiny Recursive Policy(TRP),一种参数高效的行为克隆策略,在每个控制步用共享计算模块反复更新高层与低层隐状态后再解码动作序列,并把状态传递到后续预测。
作者提出 ORBIT(Orbital Reconfigurable Base-actuated Integrated Theta-motion Hand)模块化多指机械手平台,核心是旋转指节机构,手指通过带传动绕圆柱形手掌移动,无需拆解即可在 1 秒内完成手指布局重构。
均胜电子2025年将业务方向调整为“汽车+机器人”双轮驱动,定位机器人领域Tier 1供应商,产品规划覆盖AI头部总成、能源管理系统、大小脑域控制器、电子皮肤与灵巧手等关键部件。
捷螺展示四款定位互补的半导体专用 AMR,面向存量 200mm(8 英寸)晶圆厂,在不做大范围基建改造的前提下渐进导入自动化。
梅卡曼德将在11月4日至6日于越南北宁省京北文化中心举行的VIMF 2026展出七大“眼脑手”智能应用,覆盖FPC软排线高精度装配、显卡电源线柔性抓取与精密装配、手机闪光灯焊点缺陷检测、Type-C连接器外观缺陷检测、汽车电子连接器Pin针测量、笔记本电脑散热板螺丝高度检测及高反光齿轮机床上下料,面向3C电子、半导体、汽车电子与机加工等精密制造场景。展位为E馆350。
深谋智能空中作业无人机「龙爪」中标国网电力《面向空中作业的高稳定无人机》项目,以无人机加机械臂与灵巧手形态清除架空输电线路异物隐患。该系统通过巡检识别鸟窝等异物,再由机械臂和灵巧手完成处置与复核,实现发现、处置、复核一体化作业。深谋称其自研飞控系统、机械臂与灵巧手抓取控制、动态视觉引导及压电式六维力传感器等核心技术,并援引调研称单省每年采购需求约1.5至2亿元。
研究提出质量可控策略 QCP,可在推理时控制执行速度、运动平滑度等单项质量属性及其组合。为把可控质量范围扩展到初始示教之外,作者设计了迭代事后重标注循环:按目标质量标签收集在线 rollout,将成功轨迹加入数据集,再按实测质量对累积轨迹做事后重标注并微调策略。
Afferent-Omni 是一个面向具身智能与灵巧操作的开源视触觉指挥控制(C2)框架,提供 FastAPI 后端、9 个模块化路由、15 个 REST 端点与 50 Hz 闭环 WebSocket 流。
德国超市集团 Edeka 在其位于 Lüttow-Valluhn 的 Nordfrische 肉类加工配送中心新增两台 Knapp Pick-it-Easy 机器人,用于全自动拣选新鲜肉类产品。
智元在 10 月 26 日 AI WAVE 活动发布安规级重载具身机器人精灵 G2 Max,搭载 7 自由度力控双臂,单臂负载 20kg、双臂额定负载 40kg、峰值 50kg,重复定位精度≤±0.5mm。
中科慧灵完成数亿元人民币A++轮融资,由知来投资、涌铧投资、茂天投资、元禾辰坤、国科科智、鲁宁投资等联合投资,资金将用于产品量产交付、关键场景具身大脑技术研发迭代及市场拓展。
清华大学张长水、崔森团队提出具身智能系统RoboCoach,用世界模型CoachWorld在想象中闭环试跑长程任务,定位首个超时的薄弱子任务并定向请求人类示教,只更新对应技能专家。在固定示范预算下,Franka成功率从13.3%提升至75.0%,AgileX从40.0%提升至83.8%,均匀采集基线分别仅为30.0%和47.5%。四条未见过的新任务路线平均成功率35.0%,共享策略基线为0%。
推荐理由:论文给出世界模型定位薄弱子任务、定向示教后成功率提升的完整实验,可参考其数据预算分配思路。
三星 Samsung RX Lab-China 团队提出 ε4P(Imperfection for Precision),按数据缺陷类型把不完美数据分别准入 flow matching 的不同噪声区间,从而把直接混训时有害的数据转化为性能增益。