MEgoVista 演示采集新测试:杯子挡住手指时如何重建手部动作
MEgoVista 在物体遮挡手部的场景下重建手部动作:演示者自然握杯、部分手指被杯子挡住时,系统仍能将重建的手部叠加延伸到被遮挡区域。方法是对整段录像做手部运动优化,把可靠的视觉观测与时间连续性和解剖学约束结合,从而利用单帧遮挡之外的信息。这对小团队采集机器人演示数据意味着不必要求演示者改变握法来暴露手指。
MEgoVista 在物体遮挡手部的场景下重建手部动作:演示者自然握杯、部分手指被杯子挡住时,系统仍能将重建的手部叠加延伸到被遮挡区域。方法是对整段录像做手部运动优化,把可靠的视觉观测与时间连续性和解剖学约束结合,从而利用单帧遮挡之外的信息。这对小团队采集机器人演示数据意味着不必要求演示者改变握法来暴露手指。
AIRclub-UdeSA 在 jar_workshops 第10周发布了真实机器人录制的 ROS 2 bag:在布满箱子的场地进行 2 分钟采集,包含激光雷达、相机、里程计、IMU 和 TF 数据。提供 wget 下载与解压命令,空场地地图随 semana 10 的 mapa_laberinto 包附带。
具身数据集目录项目 Embodied Data Atlas 发布 v0.5.0-rc.1,新增六个专属主研究任务分类,已审编目录从 40 个扩展到 171 个已发布独立家族(共 177 条记录)。
哥伦比亚大学李昀烛团队在 IROS 2026 触觉专题研讨会上介绍了开源柔性压阻式触觉传感器 FlexiTac 开源约一年半后的进展。传感器采用 FPC 与力敏薄膜层叠结构,备料后 3 分钟可完成组装,团队开源了完整 BOM、装配说明、读数软件并集成进 LeRobot 框架;仿真适配只需标定 3 个超参数的弹簧-阻尼系统。
Noitom Robotics 在 IEEE Spectrum 与 Wiley 的白皮书中介绍 HiPHI 数据集,包含 617.5 小时光学动作捕捉的全身人体动作数据,精度达亚毫米级。
Skild AI 宣布通过物理自博弈(physical self-play)对基础模型 S1 做后训练,让策略以得分为唯一目标与近期版本的自己对抗,在 NVIDIA Isaac Sim 中经 140 年仿真时长学会带球过人、护球、抢断等技能,并成功迁移到人形机器人进行比赛。作者认为自博弈可突破预训练人类数据的能力上限,下一步将扩展到协作操作和城市级导航等日常任务。
推荐理由:作者自述用物理自博弈让基础模型在仿真中习得足球技能并迁移到实机,读者可以借此了解自我对抗式后训练的可行路径。
MIT CSAIL 与天津大学研究人员推出 X-Hinges 设计软件,可在 3D 打印交互物品时自动嵌入两种不同材料,让传感器信号与导线状走线互不干扰,并支持最多三个运动轴。团队用它制作了可向人形机械手传递抓取动作数据的智能手套、感知捏合调节亮度的折纸式台灯和可识别所放物体的检测装置,并用计算机视觉系统对齐同批设备间的传感器读数差异。该工作将在 UIST 上展示。
PKU EPIC Lab 发布 FoldNet++,一个用于机器人T恤折叠与展开的大规模合成数据集,涵盖 6 种机器人本体、1K 件T恤、1K 环境资产和 120K 条带丰富标注的演示。
推荐理由:原文给出了数据规模和真实环境部署成功率,读者可以据此评估纯合成数据训练衣物操作策略的可行性。
PKU EPIC Lab 提出用于机器人学习的智能体式生成框架 GIF,将问题重构为解耦重建加相对位姿恢复。CoGen 结合 2D 与 3D 生成模型产出实例解耦网格和粗略初始位姿,GPRM 在几何与物理联合引导下细化相对位姿,VLM 验证器挑选最符合结构化规范的候选。
推荐理由:论文把交互功能物体组合生成拆成解耦重建与相对位姿恢复,并给出八类接触几何基准与碰撞率数字,可帮助读者评估仿真数据生成路线。
因时机器人联合上海交通大学、复旦大学等开源HandEdit数据集与评测基准,研究将第一视角人手图像编辑为指定机器人灵巧手构型。数据含2亿余个图像编辑样本、30万余段视频片段,覆盖26种URDF构型、600余个场景、1100余种物体和400余类任务;统一测试11种图像编辑方法,设Hand-only与Hand-Arm两条评测轨道,结合通用相似度、VLM判断和具身任务指标。
PKU EPIC Lab 在 arXiv 发布 ZETA 研究(arXiv:2609.02546),提出统一的零样本跨本体 VLA 迁移定义和覆盖 14 个留出目标本体的受控基准,区分严格零样本迁移与预训练暴露迁移。实验显示局部末端执行器状态-动作表示、源本体多样性、辅助共训练分别提升约 15、18 和 7 个百分点,预训练中仅加入 5% 目标本体数据可将平均目标本体进度提升 13.4 个百分点。
推荐理由:论文给出了统一的零样本跨本体迁移定义和受控基准,读者可据此理解不同表示与数据策略的实际收益。
天创机器人联合清华大学、达摩院与东南大学发布的工业多模态安全性评估数据集InspecSafe-V1论文被《Nature》旗下期刊《Scientific Data》收录。
奥克兰大学LISMS实验室与西安交通大学联合提出Video2Knowledge框架,从一段普通单目RGB视频中提取手与物体6D轨迹并转成机器人动作序列。系统用WiLoR恢复3D手部网格、结合OnePoseViaGen做物体追踪,并设计四阶段物理感知校正模块,操作物体位姿准确率在正面视角下从52.5%提升到59.0%。
PKU EPIC Lab 提出HumanTracker基准,用于人形运动跟踪的评估,被ECCV 2026接收。基准包含约153小时来自多名专业演员的光学运动轨迹,分为四个运动族并带文本标签;配套的HumanScore指标基于包含24K动作的12K运动对训练,与人类偏好对齐,能揭示运动学指标常漏掉的接触与稳定性失败,如脚滑和落地时机错误。
推荐理由:原文提出将人形运动跟踪评估与人的感知对齐的基准和指标,指出现有运动学误差会漏掉足底滑移等接触问题。
PKU EPIC Lab 发布 LIMMT(Less Is More for Motion Tracking),称是首个面向物理仿真人形运动追踪的数据中心研究。方法从物理可行性、多样性和复杂度三个维度定义动作数据质量,用不到 3% 的 AMASS 训练即可获得优于全量数据集的追踪表现,并清洗了网络来源 mocap 数据。论文已被 ICML 2026 接收,见 arXiv:2606.06953。
推荐理由:论文给出数据质量三维度框架和少量数据训练结果,对做humanoid运动追踪的研究者有方法参考。
Sanctuary AI 展示其专有液压手在真实世界中零样本完成在手操作:完全在仿真中训练的策略可连续十次将字母立方体重定向到目标姿态且不掉落。操作全程仅靠指尖、无手掌支撑,需同时稳定抓握并逼近姿态目标。原文称其手具备较高主动自由度可实现手指外展,液压驱动与紧凑液压阀为工业级类人灵巧操作提供路径。
Berkeley AUTOLAB等团队提出CaP-X开放框架,用于系统研究机器人操作中的Code-as-Policy智能体,核心包括交互环境CaP-Gym和评测12个前沿模型的CaP-Bench。
推荐理由:原文给出了Code-as-Policy智能体的系统评测框架和测试时扩展可缓解抽象依赖的发现,对研究编码智能体操作控制有参考价值。
Dexterity 发文介绍 Foresight 装箱智能体的系统评测与生产测量。规划侧在四组真实仓库箱型分布上测试,密度 0.65–0.77、稳定性 99.7–100%,并用无分布顺序统计量给出 95% 置信区间;文中还发现随机打乱箱子序列会使局部方差坍缩约 1.4 倍,导致评测偏乐观。
推荐理由:原文完整披露装箱智能体的评测方法,包括无分布置信区间和随机打乱带来的评测偏差,方法可迁移到同类系统。
丰田研究院(TRI)回顾其AMDD项目在MIT开展的八年聚合物电解质研究,产出约40篇论文和7篇博士论文,并建造了机器人实验平台,将原本需约一个月的测试缩短到一天内完成。团队还开发了多任务图神经网络加速MD仿真并开放最大聚合物仿真数据集,但作者认为AI目前能加速材料类内优化,提出依赖新物理机制的突破性聚合物仍离不开人的创造力。
Field AI 研究院(FAIRI)与 NVIDIA 合作,研究动态环境下的机器人具身问答(EQ&A)。团队借助 NVIDIA Omniverse 平台、Isaac Sim、Omniverse Replicator 和 USD Search API 构建物理精确的 3D 办公场景,模拟环境随时间的变化,并计划开源该长期具身问答数据集。