Dexmate 拆解编码智能体执行机器人任务的全过程
Dexmate 让 Codex(GPT-6 Astra)和 Claude Code(Opus 5.5)通过 MCP 工具控制 Vega 轮式双臂移动操作机器人,水果入篮和开门任务全部成功,精度更高的碗架任务在原始工具接口下无一成功。
推荐理由:Dexmate 用 Codex 和 Claude Code 实测机器人任务,量化了动作之外的时间开销与安全响应缺口。
Dexmate 让 Codex(GPT-6 Astra)和 Claude Code(Opus 5.5)通过 MCP 工具控制 Vega 轮式双臂移动操作机器人,水果入篮和开门任务全部成功,精度更高的碗架任务在原始工具接口下无一成功。
推荐理由:Dexmate 用 Codex 和 Claude Code 实测机器人任务,量化了动作之外的时间开销与安全响应缺口。
UC Berkeley的Ken Goldberg团队与NVIDIA机器人工程负责人Spencer Huang提出“agentic robotics”方法,让AI智能体在仿真中生成、测试并修正机器人控制程序,无需额外采集数据。
推荐理由:报道介绍了用多智能体在仿真中生成、测试并修正机器人程序的方法,并给出仓储分拣的落地数据。
苹果研究团队公开HALO人形机器人研究,以宇树G1为身体、背负运行千问模型的Mac mini M4 Pro,在6个未扫描的真实家庭中完成坐下、钻桌底、推箱子等任务,360次测试平均成功率91%。
推荐理由:苹果用纯仿真合成数据训练人形机器人,在6个未扫描真实家庭中360次测试平均成功率91%,为绕开遥操作数据瓶颈提供了一条可规模化的路径。
苹果研究团队在 arXiv 发布论文《Perceptive Humanoid Motion from Simulation》,推出人形机器人自主系统 HALO,并在宇树科技 G1 上完成实景验证,同时开源数据生成、训练与部署代码。
推荐理由:论文给出仿真合成数据零样本迁移到宇树 G1 的三层架构与分项成功率,可对照长链条任务的失败环节。
英伟达、纽约大学等团队提出TacitVLA,训练时照常写推理文本,但通过attention mask让action expert看不到推理token,动作不再等待文本生成。
推荐理由:通过对比三种训练策略,文章把推理文本的训练收益与部署读取成本分开,便于判断VLA推理提速的可行路径。
作者提出 GPU 加速规划器 cuRoboV2-Fast,用于无碰撞、载荷感知且扭矩受限的运动,通过 B 样条轨迹优化减少迭代次数,并用 TimeOpt 在速度、加速度、加加速度和扭矩约束下优化固定路径的通行速度。
推荐理由:论文给出 GPU 加速的扭矩受限无碰撞规划器,并对比了规划延迟与实机抓放周期,可供关注规划部署效率的读者参考。
研究团队提出人形机器人自主系统 HALO,通过在约一千个程序化生成的家庭场景中合成视觉-语言-动作数据,摆脱对遥操作采集的依赖。HALO 习得坐椅子、导航到指定物体、侧身穿半开门、蹲爬桌下和推箱子等技能,并能组合完成长程任务。训练中未见过真实家庭场景,HALO 零样本迁移到物理世界,在六个未建图真实环境的 360 次试验中达到 91% 成功率。
推荐理由:论文给出用程序化生成家庭场景合成视觉-语言-动作数据、再零样本迁移到实机的完整路径,可参考其数据规模化思路。
北京大学董豪团队公布论文《One Scan is Enough》,用带激光雷达的iPhone扫描一次目标环境,自动生成导航任务并利用重建场景几何信息做强化后训练,无需人工遥操作示范。
推荐理由:一次iPhone扫描替代人工示范,200次真机测试给出25%到85%的成功率对比,可看后训练成本如何下降。
作者提出一种解析式事件仿真器,直接由场景几何和自运动合成事件流,不经过图像渲染,单GPU生成64x64事件观测仅需17微秒,比先进渲染管线快400倍以上。基于该仿真器的事件相机强化学习避障策略训练不到30分钟即可收敛,比渲染事件训练快三个数量级,并可零样本迁移到Isaac Sim光线追踪事件仿真。
推荐理由:该工作用解析式事件仿真绕开图像渲染,把事件相机强化学习训练时间压到30分钟以内,并完成56克无人机实机部署。
作者提出 RepresentNav 导航基础模型,用 Representation Residuals 三层 transformer 聚合多个视觉基础模型的全深度特征,构建由策略自身目标驱动的表征空间。
推荐理由:该论文提出用策略自身目标构建视觉表征空间,并在其中预测未来场景表征,为导航策略的表示设计提供了可迁移思路。
云深处科技围绕自研具身大脑DEEPRobotics-Brain密集发布五项研究成果,包括世界模型DR-WM-1.0、具身基础模型DR-VLA-2.0、具身智能体DR-Agent、策略优化框架DR-APO和数据闭环平台DR-Benchmark,并联合MIT、清华、浙大等七所高校开展合作。
推荐理由:五项成果覆盖世界模型、VLA、策略优化与数据基准,可对照了解具身大脑全链路的分工与指标。
哈佛、英伟达、伯克利、MIT 和斯坦福的研究团队提出 RAX(Robot Agent eXploration),让通用 Coding Agent 连接机器人感知与控制接口,通过在线探索把成功决策写成可执行程序并积累为可复用技能,模型参数保持冻结。
推荐理由:RAX 用冻结模型加在线探索生成可复用程序,零动作示范下在五大仿真基准平均领先 37.4 个百分点,为机器人学习提供了不同于扩大数据与模型的一条路径。
香港中文大学(深圳)等机构提出 GeoPredict,在 VLA 生成动作前显式预测末端执行器与关节级未来轨迹,并用 3D Gaussian 建模未来工作空间几何。
推荐理由:GeoPredict 把未来轨迹与三维几何预测并入 VLA 训练,读者可了解一种不增加推理开销的空间推理思路。
Robot.com 发布 R-KNav 数据集并启动 FoMo 挑战赛,邀请社区用其 R-kiwi 人行道配送机器人车队的真实数据训练视觉导航模型,并在实机上受控评测。
推荐理由:数据来自长期商业运营的配送车队而非仿真,且公布了实机评测的 KPI 口径,可据此评估真实街道导航数据的可复用性。
哈工大朱延河教授团队在《极端制造(英文)》(IJEM)发表论文,提出基于协作重构的模块化机器人自主容错修复策略,通过改变形态恢复关节故障损伤,无需备份模块替换。方法结合拓扑描述与运动学自建模、粒子群算法搜索目标构型及改进RRT协作重构算法,实验中容错上限比固定构型冗余方法提高7倍。哈工大为唯一完成单位,博士生齐健为第一作者。
推荐理由:论文给出无需备份模块的协作重构容错策略和7倍容错上限提升数据,读者可了解极端环境下机器人集群自修复的具体实现路径。
Dexterity 发文介绍 Foresight 装箱智能体的系统评测与生产测量。规划侧在四组真实仓库箱型分布上测试,密度 0.65–0.77、稳定性 99.7–100%,并用无分布顺序统计量给出 95% 置信区间;文中还发现随机打乱箱子序列会使局部方差坍缩约 1.4 倍,导致评测偏乐观。
推荐理由:原文完整披露装箱智能体的评测方法,包括无分布置信区间和随机打乱带来的评测偏差,方法可迁移到同类系统。