MMGNet:面向杂乱场景的多模态6-DoF抓取合成网络
MMGNet提出多模态抓取合成网络,通过分层图像到3D特征注入和旋转抓取度建模,把多尺度图像特征融入3D表示并联合预测抓取接近方向与平面内旋转。在GraspNet-1Billion上使用RealSense数据取得60.34的平均AP,超过所有对比方法;在对抗性抓取物体的实机实验中,抓取成功率比AnyGrasp高8.46个百分点。消融实验显示两个模块带来互补增益,代码、模型和数据将在论文发表后放出。
MMGNet提出多模态抓取合成网络,通过分层图像到3D特征注入和旋转抓取度建模,把多尺度图像特征融入3D表示并联合预测抓取接近方向与平面内旋转。在GraspNet-1Billion上使用RealSense数据取得60.34的平均AP,超过所有对比方法;在对抗性抓取物体的实机实验中,抓取成功率比AnyGrasp高8.46个百分点。消融实验显示两个模块带来互补增益,代码、模型和数据将在论文发表后放出。
该论文提出一种不确定性感知控制屏障函数(CBF)框架,用Fisher信息矩阵近似多跳定位链上的级联协方差,用于GNSS拒止海上环境中的无人机集群搜索。框架将协方差模型及其变化率纳入连通性维持与避碰的约束裕度,并配合分层Voronoi目标策略与编队保持实现前向覆盖。
该论文提出一种扰动分离的模型预测控制(MPC)方案,用于机载光电吊舱在载机振动、输入延迟和执行器约束下的受限指向控制。方案用自适应周期观测器结合线性回归频率估计预测多谐波振动,用线性观测器和有界LSTM网络估计非周期扰动及其在输入延迟内的变化,并将周期预测嵌入MPC模型、把非周期补偿放在优化器之外。
该论文在高速驾驶和物体交接两个场景中,用常见生成模型指标评估多类人类行为模型,并与用这些模型训练出的强化学习策略的下游表现对比。结果显示,现有行为评估指标无法稳定预测下游策略性能,且评估结果对轨迹表示方式敏感;即使已知真实测试行为分布,用不同分布训练也可能获得更好的下游表现。
作者提出 ISB-NMPC,将球面方位预测与四旋翼非线性动力学耦合,联合优化接近目标的运动与目标可见性。在 30 组配对仿真试验中,该方法的拦截成功率为 86.7%,在参与对比的控制器中最高,单次试验平均目标可见时间占比为 99.11%。室外飞行中,拦截器在约 150 m 处捕获 30 cm 目标,远距离飞行速度达 17 m/s,追踪四旋翼拖曳的机动目标时约 14 m/s,软件与硬件均已开源。
SceneAgent 是一条智能体流水线,通过基于仿真器的视觉检查与修复,把3D Gaussian Splatting、摄影测量、LiDAR 采集、AI 生成的 3DGS 场景和 4D 动态视频转换为可交互仿真环境,流程涵盖物体分割、物理参数估计、部件分解、关节与可变形仿真。
这篇35页综述把网络化人形机器人智能按信息交换分为通信、协调、协作与人类社交交互四类功能,并从交互架构、交换信息、物理耦合、时间尺度、系统规模和本体六个维度梳理文献。
VLA-HWBench 在 NVIDIA Jetson AGX Thor 和 AMD Ryzen AI Max+ PRO 395 上对 18 个开源 VLA 模型做七阶段推理拆解,发现动作生成策略比模型规模更决定延迟,参数规模最多解释 15% 的延迟方差。
一项离散事件仿真研究对比了两种已实施的通道内机器人拣选配置:无车载周转箱提升机构时用两台层级受限穿梭车服务两个测试层级,有提升机构时一台穿梭车留在水平层、由车载机构将订单周转箱移至相邻上层完成拣选。
作者提出OSMA-Bench基准,用仅障碍物类型不同的空间匹配场景集,检验机器人导航是否按障碍物语义调整间距与速度,并提出语义敏感度指数SSI衡量这种适配。在基准上评测VLM与视觉-语言-动作(VLA)策略发现,即使给出明确安全提示,两者也未能稳定地按障碍物安全等级调整运动。
作者提出 Dream2Assist,一个基于模型的强化学习框架,把意图推断加入循环状态空间世界模型,使辅助策略能预判并支持人类离散目标而不取代人的控制权。研究还给出从世界模型策略到安全人机系统的完整部署流程,通过策略筛选与奖励重构应对仿真到真实人类的差距,并在高速竞速(N=30)和城市驾驶(N=10)两项人类被试研究与初步实车部署中验证,意图条件化在扭矩对齐和碰撞率上有可测改善。
作者提出 RobotAgentBench(RAB),一个面向真实开放世界家庭环境的机器人智能体评测基准,通过智能体辅助、人在回路的真实到仿真流程构建 50 种家庭布局,包含 90 个原子任务、18 个短时程任务、8 个长时程任务和 4 个开放式场景。
研究在FastWAM和OpenWAM中做受控的未来视频预测损失消融,在已见任务的干净条件下成功率分别提升24.38和72.91个百分点。轨迹聚类显示部分粗粒度轨迹簇内成功率提高,但簇频率变化不大,说明收益不只来自轨迹模式分布变化。
研究者借鉴二战“德国坦克问题”的序列号估计方法,把机器人化学传感器读数当作观测样本,用运行最大值和样本计数无偏估计气味羽流峰值浓度,从而判断气味源位置。该方法给出精确置信界,可让机器人或无人机据此决定继续搜索还是降落,并作为嗅觉导航的终止判据。论文推导了估计器与置信界,演示了样本效率,并考察了假设失效时的鲁棒性。
针对四旋翼轨迹跟踪中短时分布外残差会污染学习扰动模型的问题,DGC 在保留随机傅里叶特征模型、离线 BPTT 策略与最小二乘自适应(DAPL)的基础上改进在线更新步长,通过对比长短期梯度记忆判别自适应状态并用置信图抑制不可靠更新。
研究提出一个融合语音、视觉与触觉的多模态框架,用于生成符合语境的机器人语音与动作。团队在虚拟现实中用18名参与者测试五种社交互动场景,并与人工遥操作基线对比:自主系统在自然度和社交适当性上均高于中性中点,但遥操作基线两项评分显著更高。行为编码与反馈显示,对话时机、澄清模糊请求和空间协调是造成差距的关键因素。
作者提出 PhysLadder,一个用于评估接触密集操作物理交互能力的分层仿真-实机基准,包含 16 项家务任务,分为接触选择与几何对齐(L1)、持续接触下的力调节(L2)、接触重构与力调节协同(L3)三个累积层级。
TRIAGE 提出一种免训练的视觉 token 加速方法,按 token 漂移阈值决定复用缓存 KV 还是剪枝,并固定重算预算以直接控制预填充延迟。
ARPG 提出将动作表征学习与动作生成分离:先在大规模人类操作数据上预训练动作表征编码器,再冻结该编码器,并在其表征空间中训练一个 130M 参数的生成主干来学习任务条件动作分布。
AuRA 是一套自动化机器人交互与数据准备系统,用于数字孪生重建,结合执行感知抓取选择、由机器人状态推导的夹爪运动测量以及配准的交互前几何与外观先验。在 13 个可变形物体上,每个成功重建资产的人工投入和实际采集时间分别减少 88.5% 和 55.4%;相比人工采集的 PhysTwin 基线,在已知夹爪运动下的未来预测中,9 项指标有 7 项提升,单向 L1 Chamfer 距离降低 28.1%。
该技术报告提出一种用于定位和跟踪威胁海上数据中心的窄带对抗声源的声学监测框架,针对窄带发射与稀疏传感器下TDOA测量混叠、解空间模糊的问题,引入移动接收器与选定固定接收器临时组成锚点对以约束可行解空间。两阶段流程先用锚点约束估计声源初始位置,再初始化粒子滤波联合跟踪声源位置与速度。蒙特卡洛仿真中定位成功率为91%,10次开放水域现场试验中有9次跟踪误差低于2米。
作者提出 ThinkLocoManip,一个面向足式移动操作的全身体控制智能体框架,采用推理与执行交替的范式处理大规模环境中的长程任务。该框架把感知、导航、操作和移动编排为可组合的工具,并设计跨域协调技能与关键帧思考机制以支持错误恢复。实机实验中其成功率为77%,超过最强 plan-then-act 基线37.1%的两倍。
研究团队提出RynnVLA-Latent框架,通过RynnLAM从视觉变化中学习连续、3D接地的潜在动作,无需原生机器人控制信号,将30.1K小时人类、机器人和仿真视频转为745.52M条潜在动作描述用于策略预训练。
推荐理由:该研究用3D接地的潜在动作把异构交互视频转成预训练监督,为VLA模型绕开动作标注稀缺提供了一条可复用的路径。
作者提出 ScheNav 闭环导航框架,把粗略草图引导转化为探索与停止决策,核心是融合引导与累积观测、预测空间价值场的学习模块 SchemaField。配套数据流程把 2D 平面图转成导航训练环境,产出 Furnished-RPLAN 数据集,包含超过 33k 个带家具布局及配对导航回合和噪声可控草图。
AdaPolicy 提出一种动作驱动的前瞻策略框架,通过级联的下一动作块预测塑造未来感知表征,训练时无需编码未来观测,推理阶段零额外开销。方法在 MetaWorld、RoboTwin 2.0、LIBERO 和真实部署中取得一致提升,在耳机装配、穿鞋带等毫米级精度任务上最高提升 14 个百分点。
HuGe 是一组人形通用视觉-语言-动作模型(VLA),在超过 2000 小时的第一视角人类与机器人数据上预训练,通过预测潜在运动 token 驱动预训练全身控制器并输出手部控制信号。
作者提出PS-DLO,一种结合物体属性与空间感知的可变形线性物体(DLO)操作策略,通过对比图文学习将初始观测映射为DLO属性的类别描述,并用SAM3从未来观测中提取掩码引导特征、蒸馏进动作专家。在单臂与双臂平台的九个真实任务上,PS-DLO平均成功率为68.9%,比最强基线高20.0个百分点;在蝴蝶结解结的七种视觉偏移条件中,有六种成功率高于基线。
该论文提出一种闭环腹腔镜自主控制框架,将实时手术阶段识别与相机运动补偿的视觉感知耦合,利用手术实体间的阶段依赖关系改善遮挡和实体重叠下的目标状态估计。在基准数据集上评估了手术阶段识别与目标跟踪,体模实验显示相比固定视野控制,目标可见度和任务执行表现有所提升。论文投稿 IEEE Robotics and Automation Letters(RA-L)。
研究提出 HumanoidNDM,一个由实机训练的神经动力学模型驱动的人形运动跟踪在线微调框架,用于缩小训练与部署之间的动力学差距。方法包括带自适应强度机制的低频参考扰动数据采集、在欧氏空间结合可微前向运动学训练基于本体感知历史的动力学模型,以及通过模型梯度回传直接微调策略。
RoboDuo 提出一种闭环双系统框架,以代码作为编码智能体与两个 VLA 之间的接口:编码智能体编写程序,让全任务 VLA 尝试完成整个任务并检查是否完成,失败时由原子 VLA 补齐剩余步骤。
X-World 提出一种框架,通过固定长度 token 序列把视频先验迁移到共享动作专家,并用残差跨视角注意力把预训练视频骨干扩展到一、二或三视角。该策略在 LIBERO 上达到 98.5% 平均成功率,LIBERO 训练检查点在 LIBERO-Plus 上无需额外适配取得 76.5%;在六项双臂真实任务中,每项 20 次试验的平均成功率为 81.7%。
作者提出一种利用毫米波雷达多普勒信息跟踪非视距遮挡目标的方法,在留出轨迹上实现8.95cm位置误差和1.75cm/s速度误差。研究同时发布首个室内非视距雷达数据集,包含576个序列、共720,856帧,覆盖12条轨迹的不同速度、起始位置与材质配置。方法将非视距跟踪建模为连续位置-速度估计,用共享三维编码器处理完整距离-方位-多普勒表示,并由两个循环分支分别估计位置和速度后融合为运动一致轨迹。
作者提出双流门控网络 DSGN,将监控与围捕拆分为独立表征流,并通过上下文感知门控机制协调两者,以缓解大规模机器人网络中的任务切换困难。该方法还引入概率先验正则化门控过程,减少模糊的中间决策。在恒定密度的跨规模设置下,DSGN 保持任务效果与可扩展性,消融与分阶段实验显示动态门控和概率先验支持任务仲裁与模式切换;论文已被 RA-L 2026 年 10 月接收,代码已公开。
研究提出一种仅用 LiDAR 的实时框架,从无标注演示中学习交互感知的路径修正:用匀速外推生成残差学习目标,由 GNN 建模机器人、行人与目标上下文之间的关系,部署时用扩展卡尔曼滤波跟踪 LiDAR 检测构建动态图,并通过与规划器无关的接口偏移规划器生成的路径点。
针对瓦片比例与表面图案空间相关性随时间变化的动态环境,研究将轻量级变化检测机制集成进贝叶斯群体决策框架,在检测到分布偏移时重置机器人信念。该检测器仅需常数内存与常数级单样本计算,不同于两种需存储完整样本流的近期方法,适合内存受限机器人。Webots仿真显示变化检测延迟具竞争力、不同通信设置下精度更一致,且空间相关性变化时决策准确率提升。
论文提出 Extended LASMP,把导航指令直接纳入采样分布,以提升四旋翼在三维环境中采样式运动规划的探索效率。方法将子集采样推广到与指令对齐的区域,并用基于提示的大语言模型把自然语言指令解析为偏航条件与高度感知的几何约束。复杂环境仿真显示,该方法能生成无碰撞且一致的轨迹,相比均匀 RRT 类规划器显著减少采样量。
研究团队提出 BEHAVIOR-Spatial 基准,基于 BEHAVIOR-1K 构建,包含 49 个活动中的 3256 道空间问题、14 个操作任务中的 1240 条定位查询,以及覆盖 14 个操作任务和 10 个导航任务的动作评测。
论文提出基于激光雷达的实时时序施工场景图 T-ConSG,用空间关系边和事件参与边同时表示自由空间、静态物体、动态物体与环境事件。该框架从激光雷达几何证据增量构图,把累积空间证据的变化显式表示为安装与移除事件。作者在砌砖测试台的动态感知导航、ConSLAM 数据集的施工进度监测和仿真环境在线变化检测三项研究中验证了该表示。
论文发现,测试时整片区域被遮挡会让点云分割网络把隐藏构件重新标注到同一个汇聚类别,固定布局下该类别吸收最多70%测试点,基线mIoU降至0.15-0.27。作者为每个点追加14个手工几何特征(GPE),在PointNet++和PTv3风格Transformer上把mIoU恢复到0.54-0.92,并消除64-100%的整物体丢失;在真实S3DIS扫描上整面墙丢失从10降到0。
该研究提出一个开源仿真框架,将 WiFi Sensor for Robotics(WSR)感知流程集成进 Gazebo,可生成具有真实物理信号特性的合成 WiFi-CSI 测量,并支持处理仿真与真实 WiFi-CSI 数据以直接对比验证。作者用 TurtleBot3 机器人对比仿真与真实实验,展示了该框架在方位估计和机器人定位上的用途,代码与实验细节已公开。