MMGNet:面向杂乱场景的多模态6-DoF抓取合成网络
MMGNet提出多模态抓取合成网络,通过分层图像到3D特征注入和旋转抓取度建模,把多尺度图像特征融入3D表示并联合预测抓取接近方向与平面内旋转。在GraspNet-1Billion上使用RealSense数据取得60.34的平均AP,超过所有对比方法;在对抗性抓取物体的实机实验中,抓取成功率比AnyGrasp高8.46个百分点。消融实验显示两个模块带来互补增益,代码、模型和数据将在论文发表后放出。
MMGNet提出多模态抓取合成网络,通过分层图像到3D特征注入和旋转抓取度建模,把多尺度图像特征融入3D表示并联合预测抓取接近方向与平面内旋转。在GraspNet-1Billion上使用RealSense数据取得60.34的平均AP,超过所有对比方法;在对抗性抓取物体的实机实验中,抓取成功率比AnyGrasp高8.46个百分点。消融实验显示两个模块带来互补增益,代码、模型和数据将在论文发表后放出。
该论文提出一种不确定性感知控制屏障函数(CBF)框架,用Fisher信息矩阵近似多跳定位链上的级联协方差,用于GNSS拒止海上环境中的无人机集群搜索。框架将协方差模型及其变化率纳入连通性维持与避碰的约束裕度,并配合分层Voronoi目标策略与编队保持实现前向覆盖。
作者提出 ISB-NMPC,将球面方位预测与四旋翼非线性动力学耦合,联合优化接近目标的运动与目标可见性。在 30 组配对仿真试验中,该方法的拦截成功率为 86.7%,在参与对比的控制器中最高,单次试验平均目标可见时间占比为 99.11%。室外飞行中,拦截器在约 150 m 处捕获 30 cm 目标,远距离飞行速度达 17 m/s,追踪四旋翼拖曳的机动目标时约 14 m/s,软件与硬件均已开源。
作者提出OSMA-Bench基准,用仅障碍物类型不同的空间匹配场景集,检验机器人导航是否按障碍物语义调整间距与速度,并提出语义敏感度指数SSI衡量这种适配。在基准上评测VLM与视觉-语言-动作(VLA)策略发现,即使给出明确安全提示,两者也未能稳定地按障碍物安全等级调整运动。
研究者借鉴二战“德国坦克问题”的序列号估计方法,把机器人化学传感器读数当作观测样本,用运行最大值和样本计数无偏估计气味羽流峰值浓度,从而判断气味源位置。该方法给出精确置信界,可让机器人或无人机据此决定继续搜索还是降落,并作为嗅觉导航的终止判据。论文推导了估计器与置信界,演示了样本效率,并考察了假设失效时的鲁棒性。
该技术报告提出一种用于定位和跟踪威胁海上数据中心的窄带对抗声源的声学监测框架,针对窄带发射与稀疏传感器下TDOA测量混叠、解空间模糊的问题,引入移动接收器与选定固定接收器临时组成锚点对以约束可行解空间。两阶段流程先用锚点约束估计声源初始位置,再初始化粒子滤波联合跟踪声源位置与速度。蒙特卡洛仿真中定位成功率为91%,10次开放水域现场试验中有9次跟踪误差低于2米。
作者提出PS-DLO,一种结合物体属性与空间感知的可变形线性物体(DLO)操作策略,通过对比图文学习将初始观测映射为DLO属性的类别描述,并用SAM3从未来观测中提取掩码引导特征、蒸馏进动作专家。在单臂与双臂平台的九个真实任务上,PS-DLO平均成功率为68.9%,比最强基线高20.0个百分点;在蝴蝶结解结的七种视觉偏移条件中,有六种成功率高于基线。
该论文提出一种闭环腹腔镜自主控制框架,将实时手术阶段识别与相机运动补偿的视觉感知耦合,利用手术实体间的阶段依赖关系改善遮挡和实体重叠下的目标状态估计。在基准数据集上评估了手术阶段识别与目标跟踪,体模实验显示相比固定视野控制,目标可见度和任务执行表现有所提升。论文投稿 IEEE Robotics and Automation Letters(RA-L)。
作者提出一种利用毫米波雷达多普勒信息跟踪非视距遮挡目标的方法,在留出轨迹上实现8.95cm位置误差和1.75cm/s速度误差。研究同时发布首个室内非视距雷达数据集,包含576个序列、共720,856帧,覆盖12条轨迹的不同速度、起始位置与材质配置。方法将非视距跟踪建模为连续位置-速度估计,用共享三维编码器处理完整距离-方位-多普勒表示,并由两个循环分支分别估计位置和速度后融合为运动一致轨迹。
研究提出一种仅用 LiDAR 的实时框架,从无标注演示中学习交互感知的路径修正:用匀速外推生成残差学习目标,由 GNN 建模机器人、行人与目标上下文之间的关系,部署时用扩展卡尔曼滤波跟踪 LiDAR 检测构建动态图,并通过与规划器无关的接口偏移规划器生成的路径点。
研究团队提出 BEHAVIOR-Spatial 基准,基于 BEHAVIOR-1K 构建,包含 49 个活动中的 3256 道空间问题、14 个操作任务中的 1240 条定位查询,以及覆盖 14 个操作任务和 10 个导航任务的动作评测。
论文提出基于激光雷达的实时时序施工场景图 T-ConSG,用空间关系边和事件参与边同时表示自由空间、静态物体、动态物体与环境事件。该框架从激光雷达几何证据增量构图,把累积空间证据的变化显式表示为安装与移除事件。作者在砌砖测试台的动态感知导航、ConSLAM 数据集的施工进度监测和仿真环境在线变化检测三项研究中验证了该表示。
论文发现,测试时整片区域被遮挡会让点云分割网络把隐藏构件重新标注到同一个汇聚类别,固定布局下该类别吸收最多70%测试点,基线mIoU降至0.15-0.27。作者为每个点追加14个手工几何特征(GPE),在PointNet++和PTv3风格Transformer上把mIoU恢复到0.54-0.92,并消除64-100%的整物体丢失;在真实S3DIS扫描上整面墙丢失从10降到0。
该研究提出一个开源仿真框架,将 WiFi Sensor for Robotics(WSR)感知流程集成进 Gazebo,可生成具有真实物理信号特性的合成 WiFi-CSI 测量,并支持处理仿真与真实 WiFi-CSI 数据以直接对比验证。作者用 TurtleBot3 机器人对比仿真与真实实验,展示了该框架在方位估计和机器人定位上的用途,代码与实验细节已公开。
作者提出 TrajMamba,一种基于 RGB-D 相机、用于移动机器人短期人体轨迹预测的轻量双向状态空间模型,训练与部署共用同一条处理路径,以对齐人体姿态提取、深度反投影和平滑过程。
RoboReason 提出用真实机器人立体相机与腕部相机图像构造空间与时间排序任务,评估视觉语言模型的机器人相关推理能力,实验显示多个先进 VLM 在排序任务上表现不佳。作者据此提出可扩展的自主训练数据生成流程,监督微调与强化学习在该数据上均显著提升模型在时空排序及下游机器人与视觉推理任务上的表现。该工作被 EMNLP 2026 主会接收。
作者提出 POD-RoPE,把 token 的观测足迹表示为相机中心、视角与采样时间上的分布,用期望旋转编码分布间相对关系,并在分布退化为单点时还原为逐点 RoPE。
研究用滑移转向机器人在五种摩擦特性不同的地面上按设定速度曲线行驶,通过惯性估计速度与轮式里程计速度的偏差来识别地面类型。响应延迟测量呈现一致的表面依赖趋势,肥皂表面延迟最长、地毯最短;频谱特征在记录级交叉验证下取得97.1%的平衡分类准确率。作者认为速度失配的幅值与频域特征都包含轮胎-地面交互信息,可用于地面识别和状态估计中的滑移感知轮式里程计加权。
HARP 是一个交接感知恢复规划器,用于多无人机空中跟踪交接时让接收机主动获取目标视图,同时不打断发送机正在进行的覆盖。
作者提出一种面向内存受限机器人的稠密地图关键帧管理方法,直接限制常驻地图占用的内存,并按建筑房间与走廊等语义空间单元准入和释放关键帧。在两块NVIDIA Jetson板上的每次运行中内存预算均未被突破,模型吞吐损失最多0.8%,而不用该方法时操作系统会终止模型或地图。在该预算下,按语义区域准入比按匹配区域数量的几何划分多定位6-9个百分点的查询帧,约为RTAB-Map检索的两倍,且ATE更低。
ReSight 是面向具身智能体的任务驱动自改进记忆系统,保留关键帧及其时空关联,并把观测证据与可扩展派生字段分离,以便按新需求重新处理历史观测。系统通过 Explore-Distill-Mount(EDM)从执行与探索记录中识别能力缺口,将探索得到的方案转化为可复用的记忆构建器、查询工具和技能。
TinyFlow 是一个 1.26M 参数的无 warp 光流网络,用固定窗口、恒定偏移的相关替代依赖当前光流的特征重采样,使整个网络可编译为单一静态 INT8 图。
研究提出一种模块化感知-预测-规划管线,将不确定性作为结构化、可解释的量跨模块传递,并在凸安全集内保证每个周期都有可行解。在四向无信号交叉口的蒙特卡洛试验中,该管线实现0%碰撞和0%求解不可行,每周期耗时12.7ms;确定性规划器和机会约束基线碰撞率分别为36%和10%。消融实验确认了各不确定性来源的必要性,并在Clearpath Jackal UGV上的硬件部署验证了实时可行性。
作者提出B-Adapt与BVSLAM两种方法,应对快速光照变化下自动曝光未及时调整导致图像饱和、视觉SLAM丢失对应关系的问题。B-Adapt采集自适应曝光包围以覆盖场景动态范围并保持光度重叠,BVSLAM直接把多曝光序列作为因子图状态估计的约束,不依赖HDR合成。
文章介绍在 RK3588 边缘计算盒子上部署 ROS 激光雷达建图的完整流程,涵盖硬件接线、系统配置、驱动调试、室内采集和地图保存。文中还分享了常见问题排查方法,面向新手上手。
LANav 面向开放词汇目标导航(OVON)任务,让机器人仅凭当前第一视角图像在陌生室内环境中寻找目标。其思路是让机器人不再反复回看历史帧,而是对记忆进行整理,以支撑导航决策。
梅卡曼德将在11月4日至6日于越南北宁省京北文化中心举行的VIMF 2026展出七大“眼脑手”智能应用,覆盖FPC软排线高精度装配、显卡电源线柔性抓取与精密装配、手机闪光灯焊点缺陷检测、Type-C连接器外观缺陷检测、汽车电子连接器Pin针测量、笔记本电脑散热板螺丝高度检测及高反光齿轮机床上下料,面向3C电子、半导体、汽车电子与机加工等精密制造场景。展位为E馆350。
深谋智能空中作业无人机「龙爪」中标国网电力《面向空中作业的高稳定无人机》项目,以无人机加机械臂与灵巧手形态清除架空输电线路异物隐患。该系统通过巡检识别鸟窝等异物,再由机械臂和灵巧手完成处置与复核,实现发现、处置、复核一体化作业。深谋称其自研飞控系统、机械臂与灵巧手抓取控制、动态视觉引导及压电式六维力传感器等核心技术,并援引调研称单省每年采购需求约1.5至2亿元。
Afferent-Omni 是一个面向具身智能与灵巧操作的开源视触觉指挥控制(C2)框架,提供 FastAPI 后端、9 个模块化路由、15 个 REST 端点与 50 Hz 闭环 WebSocket 流。
德国超市集团 Edeka 在其位于 Lüttow-Valluhn 的 Nordfrische 肉类加工配送中心新增两台 Knapp Pick-it-Easy 机器人,用于全自动拣选新鲜肉类产品。
有开发者用 RealMan ECO65 机械臂的运动作为标定目标,将腕部 iPhone 与外部 iToF 传感器对齐,并把 RGB 彩色深度点云与关节运动数据导入办公室数字孪生。
Orbbec Gemini 330 系列有源双目相机全系在机内自研 MX6800 深度引擎 ASIC 上完成深度计算与深度-彩色对齐,无需占用主机算力。该系列自 2024 年 4 月推出 Gemini 335 和 335L 后持续扩充,覆盖不同基线、滤光片、接口与防护等级。
基于微观断层扫描重建的数字果蝇在MuJoCo中实现六足行走,三足步态由相位振荡器锁相推导自组织形成,并加入反射纠正规则与粘附实测。其复眼视觉每眼输出721个小眼,全部结论来自固定种子的完整仿真。
泰盈科技集团在泰山脚下建成具身智能机器人登山训练场,复刻泰山红门至中天门段3.8公里、3100余级台阶地貌,设11条测试赛道,供人形机器人与四足机器狗为首届CMG世界机器人登泰山大赛实测调优。训练场含低识别台阶、陡滑窄阶、S形急转台阶等特殊赛道,重点考核环境感知、动态平衡与步态切换能力,目前已入选山东省首批重点支持建设区域枢纽型训练场。
可可矩阵(COCO Matrix)发布机器人模型CO01,把示范、失败尝试和即时指导作为上下文中的经验提示,无需更新权重即可适应新任务。同一预训练模型下,一段约1分钟的示范在未见任务上平均成功率达52%,微调达到相近水平需约180条示范、约9小时。真机评测中每项最多尝试五次,保留自身历史时累计成功率从首次33%升至84%,不保留历史为56%。
深谋智能空中作业无人机「龙爪」中标国网电力《面向空中作业的高稳定无人机》项目,以无人机加机械臂加灵巧手的形态处置架空输电线路异物搭挂隐患。该系统通过巡检识别鸟窝等异物,再由机械臂和灵巧手完成发现、处置、复核一体化作业。深谋称其自研技术包括无人机及机械臂本体、多冗余飞控系统、目标抓取控制、动态视觉引导和压电式六维力传感器。
Xbotics 具身智能实验室发布“二十一讲”第6讲下篇,讲解如何从物体位姿生成抓取候选,并完成相机系到机器人基座系的坐标转换。文章拆解抓取点、接近方向、开合宽度、安全偏移与姿态匹配五个要素,对比 Eye-in-Hand 与 Eye-to-Hand 两种手眼标定拓扑,并给出可达性校验、观测退化降级和感知失败排查流程。
智元10月26日发布安规级重载具身机器人精灵G2 Max,面向拆码垛、物料转运和产线供料,单臂负载20kg、双臂额定负载40kg、峰值50kg,重复定位精度在±0.5mm以内。该机器人采用7自由度力控双臂,垂直作业范围0.1米至2.5米,配备双电池热插拔与自主回充,并适配Genie Studio 2.0具身作业平台。智元披露其在电商仓储场景整体作业成功率超过99%,每小时可拆垛80箱、码垛75箱。
阿童木机器人推出柔性并联上下料工作站,面向新能源锂电小件、3C电子元器件与日化小件场景,完成视觉识别定位、高速拾取与摆盘。设备无需改造产线地基,AC220V即可投产,图形化交互让普通操作工可完成调试,并支持快速换产。该工作站已服务宁德时代、比亚迪、富士康、立讯、欣旺达等客户。
首届CMG世界机器人登泰山大赛即将开赛,赛道为红门至中天门3100多级天然台阶,坡陡弯急且受气温、露水、降水影响湿滑,用于检验人形、四足机器人在非结构化山地环境中的自主稳定移动能力。赛事设人形与足式机器人竞速、负重转运与外骨骼助力专项,以及面向轮式、履带、轮足复合构型的全域机动探路挑战赛。