对话黄文龙:PointWorld与3D世界模型的探索
投资人石麻对话Stanford博士生黄文龙(导师李飞飞),围绕其PointWorld工作讨论3D世界模型。PointWorld用3D点流统一state和action表征,通过URDF把不同机器人的关节动作映射为点云变化,解决跨本体动作不统一的问题;训练用了DROID和BEHAVIOR两个数据集,标注依赖FoundationStereo、VGGT和CoTracker3。
投资人石麻对话Stanford博士生黄文龙(导师李飞飞),围绕其PointWorld工作讨论3D世界模型。PointWorld用3D点流统一state和action表征,通过URDF把不同机器人的关节动作映射为点云变化,解决跨本体动作不统一的问题;训练用了DROID和BEHAVIOR两个数据集,标注依赖FoundationStereo、VGGT和CoTracker3。
流向反转引导(flow reversal steering)可以通过高层动作来"操控"基于扩散的视觉-语言-动作模型(VLA),例如来自视觉-语言大模型(VLM)推理的高层动作。这还让我们可以在扩散噪声空间中运行强化学习(RL),由高层推理引导探索:先思考任务,再进行练习!👇
PKU EPIC Lab 提出灵巧手抓取生成方法 KPGrasp,以全欧氏 3D 手部关键点参数化结合 Transformer 流匹配模型,从大规模数据学习抓取先验,无需接触损失或接触式测试时优化。
推荐理由:论文给出免接触损失的抓取生成新方法和两个基准上的具体成绩,读者可以对比现有方法评估其思路。
PKU EPIC Lab 发布 LIMMT(Less Is More for Motion Tracking),称是首个面向物理仿真人形运动追踪的数据中心研究。方法从物理可行性、多样性和复杂度三个维度定义动作数据质量,用不到 3% 的 AMASS 训练即可获得优于全量数据集的追踪表现,并清洗了网络来源 mocap 数据。论文已被 ICML 2026 接收,见 arXiv:2606.06953。
推荐理由:论文给出数据质量三维度框架和少量数据训练结果,对做humanoid运动追踪的研究者有方法参考。
EXPO-FT 通过强化学习后训练让 π0.5 在测试的 8 项操作任务上全部达到 30/30 成功率,平均每项任务只使用 19 分钟强化学习数据。该方法面向有挑战的操作任务,包括串灯走线与插入电源接头点亮灯串、将台球击入球袋、把花插入酒瓶,以高效、可靠、开源的 VLA 微调形式发布,论文与视频见 https://pd-perry.github.io/expo-ft/ 。
北京大学智能机器人开放实验室2021级直博生张琬若的论文"MXPose: Multiplex interactive learning for multi-view 3D Human Pose Estimation"被模式识别领域期刊Pattern Recognition (PR)正式录用。其研究方向为多视角3D人体姿态估计。
本文是对罗剑岚博士的专访,介绍其新工作LWD(Learning While Deploying),让通用机器人策略在真实部署中持续从自身经验在线强化学习。LWD用offline RL预训练加online RL微调统一离线与在线的优化目标,价值函数单独用VLM训练并同时利用正负样本(约60%多正样本、30%多负样本),部署数据平均约40秒回流进入训练流程。
Toyota Research Institute(TRI)的 Human Interactive Driving 团队在 AutoUI 会议发表论文,介绍一种数据驱动、以用户为中心的场景开发方法,用于研究漂移能力控制在道路安全中的应用。
EPFL 研究团队在 Science Robotics 发表 Kinematic Intelligence 框架,让机器人仅凭一次人类示教就能把技能安全迁移到不同构型的机器人上,论文见 http://dx.doi.org/10.1126/scirobotics.aea1995。
Genrobot 开源 Phase 3 UMI 数据集,包含 13K+ 小时双手数据,可直接使用,支持低于 1ms 的帧级同步与高保真轨迹重建。该数据由 3K+ 贡献者在 10K+ 真实家庭中采集,覆盖多样的日常操作技能,下载地址为 https://huggingface.co/datasets/genrobot2025/10Kh-RealOmin-OpenData 。
推荐理由:数据规模与真实家庭采集背景,帮助读者判断这类 UMI 数据能否用于自己的操作任务训练。
Sony AI 的自主乒乓球机器人 Ace 按日本职业乒乓球联赛规则参赛,战胜多名精英与职业选手,相关研究发表于 Nature(DOI: 10.1038/s41586-026-10338-5)。
推荐理由:文章交代了 Ace 的比赛战绩与三项关键技术,并把它与 Deep Blue、AlphaGo 的里程碑并置,方便读者判断实体体育竞技目前走到了哪一步。
Sanctuary AI 展示其专有液压手在真实世界中零样本完成在手操作:完全在仿真中训练的策略可连续十次将字母立方体重定向到目标姿态且不掉落。操作全程仅靠指尖、无手掌支撑,需同时稳定抓握并逼近姿态目标。原文称其手具备较高主动自由度可实现手指外展,液压驱动与紧凑液压阀为工业级类人灵巧操作提供路径。
全球对机器人的看法并非千篇一律,而这正在影响其采纳进程。 🌎 哪里的信任度最高? 🤖 什么在阻碍人们? ⚙️ 谁已准备就绪,谁仍持谨慎态度? 态度正决定着谁率先行动。探索我们研究中的数据: https://hxgn.biz/4rOBrpD
Berkeley AUTOLAB等团队提出CaP-X开放框架,用于系统研究机器人操作中的Code-as-Policy智能体,核心包括交互环境CaP-Gym和评测12个前沿模型的CaP-Bench。
推荐理由:原文给出了Code-as-Policy智能体的系统评测框架和测试时扩展可缓解抽象依赖的发现,对研究编码智能体操作控制有参考价值。
Physical Intelligence 提出名为 RL tokens(RLT)的新方法,让视觉-语言-动作模型(VLA)输出一个特殊 token 与轻量在线强化学习策略对接,仅用少量真实数据即可提升精细操作阶段的速度与成功率。
推荐理由:原文把 VLA 与轻量在线强化学习的接口设计讲清楚了,并给出四项任务上的提速数据,读者可据此评估这类方法能否用于自己的精细操作任务。
美国空军退伍军人、生物医学工程博士生 Ignacio Montoya 在神经科学学会年会上报告多年自我研究:经皮脊髓电刺激(tSCS)结合自适应任务特异性训练,在临床完全性脊髓损伤 12 年后可能重新激活休眠神经通路。训练中使用 Wandercraft 全自平衡免手扶外骨骼 Atalante X,随机器人辅助逐步减少,其步态一致性、肌肉激活改善,耐力、姿态及膀胱肠道感觉功能亦有提升。
重大公告!面向全身人形机器人遥操作 项目主页:https://zhutengjie.github.io/CLOT.github.io/
丰田研究院(TRI)回顾其AMDD项目在MIT开展的八年聚合物电解质研究,产出约40篇论文和7篇博士论文,并建造了机器人实验平台,将原本需约一个月的测试缩短到一天内完成。团队还开发了多任务图神经网络加速MD仿真并开放最大聚合物仿真数据集,但作者认为AI目前能加速材料类内优化,提出依赖新物理机制的突破性聚合物仍离不开人的创造力。
Berkeley AUTOLAB 提出 STITCH 2.0 缝合机器人系统,改进 EKF 缝针位姿估计、新增线理解缠方法和自动 3D 缝合对齐算法等七项改进。
南方科技大学CLEAR Lab、逐际动力与香港大学合作的论文《Generative Visual Foresight Meets Task-Agnostic Pose Estimation in Robotic Table-top Manipulation》入选CoRL 2025。
推荐理由:这项研究给出了从人类视频学习操作的具体技术路线和实验数字,可帮助读者了解视频数据训练机器人操作的可行路径。
Field AI 研究院(FAIRI)与 NVIDIA 合作,研究动态环境下的机器人具身问答(EQ&A)。团队借助 NVIDIA Omniverse 平台、Isaac Sim、Omniverse Replicator 和 USD Search API 构建物理精确的 3D 办公场景,模拟环境随时间的变化,并计划开源该长期具身问答数据集。
Kessler Foundation 的案例研究显示,Wandercraft 自平衡外骨骼 Atalante X 帮助一位 64 岁左侧偏瘫的慢性中风患者完成四周机器人辅助步行训练后,步速从 0.09 m/s 升至 0.19 m/s,步频提高 27.8%,且无不良事件。其动力动态踝关节可复制生理步态力学,改善负重对称性与推进力。作者强调仍需更多研究验证,结果在美国物理治疗协会年会发表。
RAL 2021 论文提出富置信度互信息(CRMI),基于占据网格单元的连续概率分布与波束因果传感模型(SCM)计算信息增益,避免传统反演传感模型(ISM)的缺陷。仿真与实验表明,CRMI 驱动的机器人对未探索区域和模糊区域探索更精细,复杂度为平方级、接近传统 OGMI,可在线运行。
DiSCo-SLAM 是首个将轻量级 Scan Context 描述符用于多机器人 SLAM 的分布式框架,面向 3D LiDAR 观测,支持机器人间高效交换数据。该框架包含两阶段全局-局部优化,能在机器人间闭环搜索的未知初始条件下提供稳定的定位结果。在多个多机器人数据集上与分布式高斯-塞德尔(DGS)方法对比,定量验证了其准确性、稳定性与数据效率。
RAMA-SLAM提出一种基于集中式客户端-服务器(CS)架构的多智能体协同视觉惯性SLAM系统,客户端运行在智能手机上,通过增强的几何验证、误差感知加权的重投影优化与灵活地图融合策略实现经验共享。该系统在EuRoc数据集和真实环境中实验,结果优于现有方法,并在带宽7.55Mbps的真实环境中演示了协作SLAM的稳定性。
M2DGR是一个由地面机器人采集的大规模SLAM数据集,包含36个室内外场景序列、约1TB数据,传感器套件涵盖六个鱼眼相机、一个朝天RGB相机、红外相机、事件相机、视觉惯性传感器、IMU、激光雷达、消费级GNSS接收器和带RTK信号的GNSS-IMU导航系统,均已标定同步并同步记录。
一项发表于 ICRA 2022 的研究提出了一种自监督学习方法,可从单目热成像视频中同时估计深度和自我运动。该方法利用由温度一致性损失和光度一致性损失组成的多光谱一致性,并设计了一个可微的前向扭曲模块,将热成像摄像头的坐标系统转换为可见光摄像头,从而提供补充自监督信号。
ICRA 2022 论文提出一种事件相机与 RGB 相机的冗余传感器融合模型,用于在图像损坏和不同天气条件下进行稳健的物体检测。该方法将事件的体素网格表示作为输入,通过两个并行特征提取器网络分别处理帧和事件。在公开的 DSEC 数据集上训练和评估后,该融合方法相比仅基于帧的检测对常见图像损坏的鲁棒性提高了 30% 以上,且性能优于仅基于事件的检测。
ICRA 2022 论文提出名为 DODO 的移动机器人,采用斜轮辐轮(ASW)设计以提升在颗粒介质、沥青地面及两者过渡地带的驱动速度。研究用田口方法和 L9 正交阵列优化设计参数,经实验选定脚部单一接触方式,前后 ASW 趾入/趾出角均为 15°,并设 30° 相位差以减小质心沿 Z 轴往复运动。
泡泡图灵智库编译介绍 arXiv 2023 论文 NeRF-LOAM,这是作者所称首个面向大规模环境、使用激光雷达数据的神经隐式里程计与建图系统,由 Neural Tracking、Neural Mapping 与 Mesh Reconstruction 三部分组成,均基于其提出的神经符号距离函数(Neural SDF)。
SimVODIS++ 在 SimVODIS 网络基础上设计了新的神经语义视觉里程计(VO)架构,并提出具有多任务学习公式的专注位姿估计架构,用于处理动态对象并增强 VO 性能。
i-VIL SLAM 提出一种仅假设传感器误差有界的视觉惯性激光雷达 SLAM 方法,通过区间分析将误差传播至地图与轨迹,并用 GNSS/INS 数据得出的锚定位姿稳定不确定性累积。实验显示,经典 SLAM 图优化在最差情况下由边际协方差导出的 99.9% 置信椭球仅包含不到 64% 的真值,而该方法的位姿区间边界对超过 96% 的帧包含真值。
新南威尔士大学医学机器人实验室团队研制出微型柔性3D生物打印机F3DB,可像内窥镜一样插入人体,将多层生物材料直接输送到内部器官和组织表面,相关研究刊发于《先进材料》杂志。该设备配有灵活旋转头和蛇形机械臂,已在人造结肠内测试并在猪肾脏表面打印出不同形状材料,最小原型直径约11-13微米,系统已获专利,下一阶段将在活体动物上测试。
英国牛津大学和日本御茶水女子大学的研究人员访谈65名人工智能专家后预测,10年后约39%的家务或将由自动化程序完成,购买日用品时间或缩短近60%、房屋清扫省时46%。报告同时指出,教育、陪伴孩子、照顾老人等看护工作仅28%能实现自动化,且高自动化家庭可能面临隐私问题。
南加州大学与英伟达联合推出ProgPrompt模型,用语言模型以python风格代码形式对机器人指令进行任务规划,使生成的计划可跨环境、跨机器人能力与任务复用。
中国科学院沈阳自动化研究所唐凤珍课题组提出基于对数欧氏度量黎曼几何的脑电信号解码方法,识别速度较基于仿射不变性黎曼度量的方法提高约4倍,在BCI Competition IV-2a数据集上识别正确率优于竞赛第一名。
中科院力学研究所团队在Small发表磁控气泡微机器人研究,通过三维Helmholtz线圈磁控系统调整Janus微球朝向实现远程速度调制,并利用微气泡溃灭射流完成推进、锚定、抓取,表面毛细波可远场清扫颗粒。