跳到正文
10月28日周三
  1. HuggingFace Daily Papers66

    PDRVLA:引入物理动态表征的视觉-语言-动作模型

    PDRVLA 提出轻量物理动态模块,从视觉-语言特征中提取物理 token 来条件化动作生成,无需在线生成未来视频。该模块通过直接预测未来 RGB、深度和光流特征学习,并以冻结的预训练视频世界模型做辅助监督,训练仅使用公开数据并经人到机器人合成、子任务标注和具身思维链(ECoT)标注扩充。

  2. Yaskawa70

    安川电机与GAZOO Racing将AI自主焊接机器人技术导入GR KART制造现场

    安川电机与丰田GAZOO Racing共同开发AI自主化机器人生产技术,并于2026年9月在蒲郡GR KART工房开始导入。该技术基于双方2024年共同开发的SFA工法(Sequence Freezing Arc Welding),采用搭载GPU与AI的MOTOMAN NEXT机器人,可自主识别管道框架状态、完成焊接、质量确认与补正,并综合外观图像、焊接声音及各类数据进行分析。

    推荐理由:安川与GAZOO Racing把SFA焊接经验延伸为AI自主焊接产线,并已在GR KART工房实际投产,可观察焊接自动化从验证走向量产现场的路径。

  3. 芯东西73

    谷歌发布世界模型Genie 4,可模拟空气动力学与碰撞并原生生成音频

    谷歌10月28日发布新一代世界模型Genie 4,可模拟空气动力学、碰撞等物理过程,并原生生成音乐、环境音和交互式对话。该模型融合Gemini系列能力,由Gemini 3.8 Flash在循环中拆解多步骤任务,谷歌还演示了其与Gemini Robotics结合模拟Apptronik Apollo人形机器人下跳棋。

  4. arXiv cs.RO62

    SCRIM:量化模仿学习中的状态关键性

    作者提出 SCRIM,一种状态关键性度量,用对抗扰动策略和价值评论家估计专家动作小幅扰动导致的下游价值最坏退化,为每条示教状态打分。这些分数可用于重加权行为克隆损失,也可筛选紧凑的高价值示教子集,在保持性能的同时减少训练数据量。方法在多种仿真与真实机器人操作任务上评估,论文被 CoRL 2026 接收。

  5. arXiv cs.RO72

    BiDex-100:覆盖100多个仿真任务的双臂灵巧操作基准

    作者提出BiDex-100,一个面向双臂灵巧操作的仿真基准,包含106个任务,按泛化、指令跟随、少示教、长时程和记忆五个能力维度组织。每个任务配有受控视觉与空间变化的域外变体,用于评估鲁棒性,并支持两种本体、提供8,080条经成功验证的遥操作示教,共625万帧。作者在统一协议下评测七个近期视觉-语言-动作模型,建立分能力性能、鲁棒性和数据效率的基线。

  6. arXiv cs.RO50

    用法律推理约束世界模型规划:可废止道义逻辑规划栈在仿真机械臂上的验证

    论文提出一个法律规划栈,用可废止道义逻辑(DDL)约束运动规划器,并借助学习到的世界模型进行规划与提供法律上下文,从而在非法动作执行前进行事前干预。该栈在仿真机械臂于3x3网格推动方块的场景中部署,结果显示受法律约束的智能体遵守规范的比例明显高于未受约束者,对感知不确定性建模后遵守率进一步提升,法律推理在运行时高效且裁决可审计,并能适应外生信号与内生规则变化。

  7. arXiv cs.RO60

    时序触觉编码与柔顺控制用于意图感知的机器人到人双手交接

    该研究将 VLA 模型与柔顺控制器结合,用 RGB 观测、时序编码触觉反馈和本体感知的人类演示微调模型,实现机器人到人的双手交接。在人类受试者研究中,该系统与无触觉反馈、有触觉但无柔顺控制两个基线对比,结果显示柔顺控制与触觉历史互补,性能明显优于基线。项目页面已公开。

  8. arXiv cs.RO70

    从抓取到灵巧操作:面向灵巧操作的大规模抓取预训练

    研究团队提出用大规模灵巧抓取数据预训练分层模仿学习框架的低层控制器,再在下游任务示教上微调,以支持关节工具使用中的功能灵巧性。他们从大规模灵巧抓取标注构建了 355k 条轨迹的抓取预训练数据集,并推出包含六项关节工具使用任务的仿真基准 DexCraft。在仿真和实机实验中,该方法优于端到端扩散策略基线和从零训练的分层策略,实机全任务成功率比 DP3 高 33.3 个百分点。

  9. arXiv cs.RO78

    FTP-1:跨触觉传感器的通用基础触觉策略

    研究团队提出 FTP-1,一个跨多种触觉传感器和本体预训练的通用基础触觉策略,用异构编码器把图像、阵列和状态类触觉信号映射为统一的形态感知隐 token,由共享触觉 Transformer 专家联合建模。

    推荐理由:该工作把多种触觉信号统一到共享策略中,并给出跨传感器迁移的成功率变化,可供触觉操作研究参考。

  10. arXiv cs.RO70

    FAWAM:面向闭环接触丰富操作的力感知世界动作模型

    作者提出力感知世界动作模型 FAWAM,在感知、预测和闭环执行三个层面引入力信息:先编码历史六轴力/力矩信号调制动作生成,再联合预测未来动作与末端执行器力旋量以显式建模接触演化,并用预测力旋量轨迹作为执行期参考、结合实时力反馈在线修正动作。在多个接触丰富任务的真实实验中,FAWAM 平均成功率比纯视觉基线高 36.25%,比现有力感知基线高 21.25%。

  11. arXiv cs.RO64

    GTP-FA:带失败归因的抓取后规划两阶段操作框架

    作者提出 GTP-FA,一个面向机器人操作的两阶段“先抓取后规划”框架:先生成抓取候选,再以选定抓取为条件做下游运动规划。该框架学习失败归因模型,对失败轨迹给出失败模式分布,并据此分别优化抓取评分与规划模块。仿真与实机实验显示,GTP-FA 在 RL、IL、扩散策略和 VLA 等基线上提升了整体任务成功率,论文已被 NeurIPS 2026 接收。

  12. arXiv cs.RO62

    RAPID:面向电动汽车电池包拆解的机器人智能体平台

    作者提出机器人智能体拆解平台 RAPID,集成龙门式工业机械臂、RGB-D 感知和自动拧螺母工具,在完整电动汽车电池包上完成紧固件拆除。开放词汇目标检测达到 0.9757 mAP50;三种一次性紧固件拆除策略中,示教位姿成功率 97%、耗时 24 分钟,一次性视觉执行成功率 57%、耗时 29 分钟,视觉伺服成功率 83%、耗时 36 分钟(n=204)。

  13. arXiv cs.RO65

    MO-Playground:面向机器人的大规模并行多目标强化学习

    作者提出GPU原生的多目标强化学习算法MORLAX和可pip安装的GPU加速多目标环境库MO-Playground,可在数分钟内近似Pareto集,相比传统CPU方法加速26-271倍,相比此前GPU方法最高加速19倍,同时学到更优的Pareto前沿超体积。团队还实现了自定义BRUCE人形机器人环境,在仿真中针对平滑性、能效和摆臂等6个实际目标学习Pareto最优的运动策略。

  14. arXiv cs.RO67

    DreamTacVLA:用触觉世界模型预测未来接触的VLA框架

    DreamTacVLA 提出一种将 VLA 模型建立在接触物理之上的框架,通过预测未来触觉信号来学习接触动力学。该模型采用分层感知,将高分辨率触觉图像作为微观视觉输入,与腕部相机局部视觉和第三人称宏观视觉结合,并用分层空间对齐(HSA)损失对齐触觉 token 与腕部、第三人称视图中的空间对应物。

  15. arXiv cs.RO62

    CLEAR-IR:将红外图像重建为RGB风格图像以支持黑暗环境机器人感知

    CLEAR-IR提出一种双流架构,从带结构光发射器图案的红外图像重建干净、RGB风格的图像,让原本用RGB训练的视觉管线在无可见光条件下继续工作。该架构受DeepMAO启发,在目标检测、ArUco标记检测和视觉SLAM上评测,覆盖从光照良好到完全黑暗的场景;在完全黑暗时,被动RGB增强方法因传感器无信号而失效。论文已被IEEE/RSJ IROS 2026接收。

  16. arXiv cs.RO59

    研究:视触觉传感器主动采样用于硬度分类

    论文研究基于视触觉传感器(VBTS)的主动采样策略,以实现样本高效的硬度分类,使用模型不确定性的信息论度量。作者在自建机器人采集的 VBTS 数据集和已发表数据集上评估了三种概率分类器、两种主动采样策略与随机采样基线,并针对相同物体开展了人类硬度分类研究。结果显示,以方差和熵作为不确定性度量的主动采样方法表现最佳,准确率达到 90%,而人类准确率为 48%。

  17. arXiv cs.RO62

    研究团队构建第一视角网球数据集并评测视觉模型的时空预测能力

    研究团队采集带标注的第一视角网球数据集,训练并评测图像编码器、视频编码器和视觉语言模型在七项时空预测任务上的表现。最佳模型当前帧定位误差为自视角球员0.14米、球0.54米,1.1秒内轨迹预测误差分别为0.34米和0.91米,触球时间预测平均误差0.14秒。辅助深度信息明显改善3D球定位,更长的图像历史未提升球轨迹预测;团队还提出条件扩散模型,以实时速率从第一视角视频生成全身网球运动学动作。

  18. arXiv cs.RO55

    MCP-Net:面向机器人导丝导航的实时冠脉感知网络与拓扑分析

    作者提出以多任务冠脉感知网络 MCP-Net 为核心的仿真驱动框架,用于机器人导丝导航,将冠脉血管分割、血管拓扑提取与路径图生成整合在一起。该方法从三维冠脉 CT 血管造影生成含模拟导丝、不同严重程度狭窄病变和多种血管几何的模拟透视图像及仿真真值,MCP-Net 从单帧透视图像联合完成血管分割、导丝尖端定位和狭窄定位。

  19. arXiv cs.RO75

    LEAP 灵巧手在手中物体位姿到达策略与安全过滤器

    研究团队提出面向 LEAP 灵巧手的在手中物体位姿到达训练配方,在仿真中无需人类数据训练,经系统辨识后零样本迁移到实机,可用动作捕捉或腕部单目深度相机。在 4 个物体、4,800 个未见目标、13.3 小时实机评测中,基于状态的策略在 2 cm 和 0.4 rad 内到达 95.2% 的目标;叠加可调保守度的学习残差安全过滤器后掉落减少 75%,仍到达 91.5% 的目标。

  20. arXiv cs.RO63

    EgoThumb:视觉驱动的附加机器人拇指实现自主抓取与持握辅助

    EgoThumb 是一个完全开源的视觉驱动附加机器人拇指,通过视觉模仿学习策略将掌心相机的第一视角图像直接映射为连续关节位置,实现自主抓取与持握辅助。其紧凑的双肌腱驱动手指把驱动单元移至前臂,以降低末端重量并支持精确的主动关节控制。作者称该设计可跨不同用户和环境泛化,硬件与软件均已开源,论文已被 IROS 接收。

  21. arXiv cs.RO71

    研究团队用可微仿真从零学习四旋翼穿越动态窄缝

    研究提出可微分的移动窄缝建模方法,按到随时间变化的缝隙平面的有符号距离,对居中、对齐与平滑碰撞项进行门控,把稀疏的穿越事件转成稠密的路径目标,并集成到从随机初始化单阶段训练的视觉特征到指令策略中,无需教师、规划器或蒸馏。仿真中路径梯度明显优于得分函数梯度,单 GPU 训练几分钟后成功率达 99.3%。策略直接迁移到真实四旋翼,仅靠机载视觉与惯性测量,在 10 次实物试验中成功穿越动态窄缝 8 次。