Watch Your Step:用人形机器人预判落足点的感知方法提升地形运动
arXiv 论文 Watch Your Step 提出轻量落足点预测模型(FPM),仅凭本体感知和速度指令预测未来落足点,并只在这些落足点周围采样高程图,让感知先于策略预判落脚位置。
arXiv 论文 Watch Your Step 提出轻量落足点预测模型(FPM),仅凭本体感知和速度指令预测未来落足点,并只在这些落足点周围采样高程图,让感知先于策略预判落脚位置。
论文提出 ContactFlowFilter,用于在仅配备关节扭矩传感器和基座力/扭矩传感器的机械臂上估计活跃接触的数量、位置和力向量。该方法将流匹配模型作为粒子滤波的辅助提议分布,用粒子滤波的递归结构捕捉时序依赖,同时跟踪多模态信念并检测接触的增删事件。
论文提出 A2I-Calib++,一种由运动学驱动的抗噪主动标定框架,用于足式机器人机身上的多IMU系统,可估计时间偏移、外参旋转与平移以及惯性偏差,无需人工标定靶或复杂参数调参。
论文提出PRISM框架,将深度噪声解耦为传感失效(sensing invalidation)与测量不准(measurement inaccuracy)两类模态,并蒸馏3D视觉基础模型特征作为空间-语义先验。
作者提出 DepState-JEPA,一种双流 RGB-D 联合嵌入预测架构,通过共享隐状态 DepState 把空间理解与动作条件预测连接起来。该框架基于 V-JEPA 2.1,将深度同时作为互补观测流和度量三维空间的锚定依据,并用射线条件读出、物体轨迹监督与标定正运动学约束状态学习。
论文提出 inr2action 框架,将每段机器人操作片段从共享的元学习初始化出发拟合神经隐式表示,其权重增量(weight delta)作为记忆,大小不随片段长度变化,可从一百帧到十万帧保持固定尺寸。
T-WLA 是一个世界-语言-动作(World-Language-Action)架构,通过共享视觉记忆同时引导动作生成与触觉修正,以应对接触密集操作中接触条件先于视觉策略更新而变化的问题。
VeriCalib 将基于目标的 LiDAR-相机外参标定建模为可验证估计问题,输出标定状态以指示接受结果还是补采数据。它通过结构化协方差解耦旋转与平移精度,指导数据采集向最弱方向补充,并用视图内与跨视图检查及最小可检测偏差界定各方向可发现的最小故障。
研究提出两种基于RANSAC的地面法向量估计方法:单帧扫描估计与基于LiDAR-惯性里程计(LIO)全局3D地图的估计,用于球形移动测绘系统(SMMS)的里程计。在多样真实数据集上以地面激光扫描仪真值评估,LIO方法在精度与鲁棒性上显著优于单帧扫描方法。将地面法向量估计融入运动模型可改善位姿估计,支持危险环境下的自主导航。
研究提出预训练视觉状态编码器 ALPS,在一组 patch token 中统一物理状态信息、语言对齐与像素重建三种能力,仅用静态图像和文本从零预训练 ViT-B/16,并通过跨视角自蒸馏进一步优化。
FocusVLA 提出一种阶段感知的多视角路由框架,从历史动作预测未来交互意图,并据此在动作生成过程中动态协调全局与局部视角。在 RoboTwin 2.0 上,其平均成功率比最强基线 π_{0.5} 提升 10.10 个百分点;实机评测成功率从 71.7% 提升到 85.0%。该框架的意图预测与动态路由模块可在不修改核心架构的情况下集成到现有 VLA 框架中。
一位 Reddit 用户用 320×240 epc660 级 iToF 工程样片、固定 Pi 相机和 Ouster 参考扫描搭建家用 RGB + iToF 深度方案,曝光从 500 提到 2,000 µs 后滤波抖动从 65 降到 6 mm、原始抖动从 85 降到 28 mm,但直墙仍弯曲 12–14 cm,三个调制频率对同一面墙分别报 4.14、3.92、3.97 m。
差评君赴重庆与胜通能源、七腾机器人工程师交流,介绍了面向高危工业巡检的元域智巡方案。该方案先用基于3D高斯等重建技术在电脑中构建数字工厂,由大模型自动识别仪表。
Slot-JEPA 将 JEPA 的稠密 patch 表征分解为稳定的语义 slot 与随时间变化的空间掩码,提供可复用的对象结构化接口。基于该接口的 Transition Memory Predictor(TMP)将视觉转移存储为紧凑掩码,用 slot 统计量检索上下文,并以非平衡最优传输(UOT)监督掩码预测与评估候选规划。
Hexagon Robotics 用 NVIDIA Holoscan 与 Holoscan Sensor Bridge 重构 AEON 人形机器人的传感器融合管线,通过单根光纤连接把同步预处理后的数据送入 NVIDIA Jetson Thor 主计算模块。
芯明在ROSCon China 2026发表主题演讲,由副总裁周凡博士介绍其空间智能芯片与3D视觉AI模组。自研芯片单芯片集成实时3D立体视觉感知、端侧AI与SLAM,提供约3.5 TOPS端侧算力,功耗低于1W,运动到显示延时约1毫秒,支持6路摄像头与多传感器融合。
Gibson Virtual Environment 通过虚拟化真实空间为具身智能体提供感知训练环境,目前包含来自 572 栋完整建筑的 1400 多个楼层空间。其内置的 "Goggles" 合成机制可让训练后的模型直接部署到真实世界,无需额外的域适应。该环境使智能体受物理与空间约束,论文展示了在其中学习的样例感知任务,代码、数据集与项目网站已开放。
论文提出一种基于 Denavit-Hartenberg 约定的动态相机-IMU 外参标定方法,通过引入机器人运动学模型实现时变外参的在线估计。配套的两步初始化策略可高效估计初始关节角,为后续外参参数优化提供可靠起点。仿真实验表明,该框架能有效适应相机-IMU 外参变化,同时保持有竞争力的定位精度。
ForeTac 是一个面向接触密集操作的预测性接触引导框架,采用表示-预测-评估-引导循环,编码当前触觉状态、按候选动作序列预测未来触觉隐轨迹,并用从成功与失败物理交互中学到的接触质量目标评估每条轨迹;推理时该目标的梯度反向传播穿过触觉预测器,在执行前引导动作生成,且所有模型参数保持冻结。
CoGaussian提出了一种开放词汇的协同语义占据预测框架,用与基础模型对齐的稀疏3D高斯表示场景,作为多智能体间传递与融合几何和语义信息的紧凑表示,不再依赖稠密3D体素标注,也不局限于预定义语义类别。在Semantic-OPV2V基准上,该方法超过了现有开放词汇单智能体方法。
CLOSER 是一个面向目标物体导航(ObjectNav)的证据感知主动验证框架,把停止决策视为闭环证据采集,将视觉语言模型(VVM)验证与主动感知结合。
一项针对9个视觉-语言模型、682张图像和7种评测条件的研究发现,模型的精确计数范围差异近两个数量级(R80从3到150个点)。研究通过免训练智能体循环让模型用图像标记辅助计数,发现该方法作为干预大多失败,但能生成可审计的串行推理痕迹,帮助揭示模型如何得出答案。实验还显示模型在遍历顺序反转时常改变答案,而儿童式的规则排列优势仅在特定条件下出现。
PanoGraphGS 将全景 3D 高斯表示学习与层级 3D 场景图构建整合到一个框架中,在共享高斯几何上学习语义与实例特征,实现跨视角一致的全景预测与新视角全景分割。
论文提出SynCalib数据生成框架,针对基于深度学习的LiDAR-相机在线标定中训练数据外参多样性不足导致的过拟合与泛化差问题,利用带深度真值标注的全景图像数据集,在严格外参约束下合成多模态标定数据。实验表明该流程显著提升学习式标定网络的泛化性与鲁棒性,并在多种相机-LiDAR配置上完成真实世界评测,验证了仅用合成数据训练模型的零样本迁移能力;数据生成代码、预训练模型和在线基准数据集将公开。
OmniVLoc 提出一种基于拓扑-度量框架的全向相机环视视觉定位系统,通过融合全局场景识别与单目深度估计实现多约束定位,并求解尺度感知位姿图与球面光束法平差恢复度量级位姿。系统内置分层校验机制过滤各阶段错误输出以提升鲁棒性,在公开数据集与自建数据集上的实验验证了其精度与可靠性,源码与数据集将在论文发表后公开。
针对细圆柱物体表面空间有限、难以布置平面标记的问题,提出一种双色条纹标记,利用圆柱已知曲率提升单目相机位姿测量精度,其中双色边界提供长中心线,圆点与印刷边缘提供不同深度的特征。
arXiv 论文提出 MAPLE(Mondrian-Anchored Prior for Learning-free Indoor Exploration),一种免训练的预测式探索方法,将 Mondrian 过程改造为基于当前部分地图几何线索的在线生成先验。
REACT 是一个从人-人演示学习可部署人形机器人-人交互策略的框架,以语义接触结构作为监督信号串联演示处理、交互学习与机载控制。它用 VLM 引导的接触建模与重定向管线识别语义接触并迁移到人形-人几何上,再将特权交互策略蒸馏为完全依赖机载传感的自我中心深度策略,并引入生成式伙伴状态建模目标从遮挡视角预测伙伴运动。
作者提出 MARE,一个基于 Unreal Engine 5 和 ROS 2 的开源月球车感知与自主仿真套件,包含地形生成、双物理月球车传感器仿真和 GNC 任务控制三部分。仿真器提供立体、激光雷达、事件和 SPAD 相机数据及像素级真值,低太阳高度角下预测阴影与渲染阴影的平均 IoU 为 0.79。立体深度分析显示阴影区域像素覆盖低于日照区域。
论文提出一个两阶段框架,从多视角视频片段中学习互补的预测表征以增强具身操作策略。预训练阶段用冻结的3D基础模型提供稠密几何特征,压缩为预测几何表征并优化以保留场景结构及其时序演化,再对几何转变施加动作监督以提取强调动作相关转变的运动表征;下游后训练阶段通过几何查询迁移预测几何,运动表征引导动作生成路径上的中间特征,未来观测仅作为训练期特权监督,推理时不需要。
EchoNav提出一种从短RGB序列预测证据式鸟瞰图(BEV)表示的视觉导航框架,结合时序聚合与占据补全,无需深度或相机位姿输入,也不做显式几何变换。该框架在仿真双目标顺序导航中成功率达89.6%,比最强基线高32.5个百分点;在20个场景的60次轮式机器人试验中成功率为73.3%,基线为33.3%。作者还在四足与人形机器人上做了额外演示。
Tactile-ETA 系统通过上下文学习将触觉经验引入具身任务智能体,在不更新模型参数的情况下完成精细操作。在四个仿真操作任务中,相同两份专家示范加入触觉观测后平均成功率从 15.75% 提升到 24.00%;真实机器人任务上,视觉与触觉对齐的示范将成功率从 0% 提升到 60%。实验还显示性能依赖示范的感官内容与表示方式,不同智能体模型在 Lift Bottle 任务上差异明显。
一种正交残差学习方法通过零空间参数化将模型修正器约束为与侧偏刚度灵敏度正交,避免修正器吸收刚度变化信息而抑制在线自适应。在全车仿真中,该方法将侧偏角误差降低12.7%至22.0%,且在刚度阶跃变化时保持与无修正滤波器同等的自适应速度。在公开实车数据上,430参数的正交修正器比同规模无约束修正器保留了更多对名义刚度偏移的响应。
ThERMO 闭环热反馈算法在基于 UR10e 的 ASTR 系统上完成离体猪组织自主电外科测试,热损伤最多降低 52%,切缘精度最多提升 59%,且无需数据驱动训练或迭代调参。该算法通过实时热成像调节切割速度,组织学分析与 3D 摄影测量验证了热损伤范围与切缘准确性,表现优于两种固定速度对照方法。
研究提出扰动感知 Koopman 控制族(DA-KCF)框架,保留离线辨识的标称模型,仅在线学习扰动修正,并将其嵌入模型预测控制(MPC)优化位置与偏航参考。参考依赖的 KCF 先由仿真数据学习、再用有限硬件数据标定,部署时标称模型固定,轻量残差集成从因果状态-指令-状态转移学习低维扰动修正。
RadGeoLoc 提出一种将地面旋转雷达测量与卫星 RGB 影像对齐的地理定位方法,用于 GNSS 不可靠时的自主定位。该方法用掩码重建预训练的雷达表征,与卫星影像特征对齐,由雷达里程计驱动粒子滤波提出候选位姿,学习的观测模型给出似然。评测覆盖 8 个数据集、31 条不同路线,涵盖城市与越野条件,并在 13 个月内对同一路线的重复穿越考察了天气变化下的鲁棒性,仅使用地面雷达与粗略局部先验。
论文定义了视觉-语言-动作(VLA)模型的故障归因问题,即在多个视觉损坏共存时判断哪些损坏贡献了失败风险、移除它们能带来多大收益。作者提出一种分解式风险模型,分别学习场景与损坏的表征,仅从当前图像和任务指令通过潜变量干预估计移除收益,无需配对干净图像或额外反事实回滚。
arXiv:2610.27275研究了点云配准中最大团与最大一致性两种鲁棒配准形式化的关系,证明最大团解的对齐误差可任意大、集合规模可远超最大一致性集,并推导了界定该误差的几何条件。在旋转固定时给出平移子问题的精确误差界与判别测试。研究还确定了group-k一致性中保证误差界与点云尺度无关的最小分组大小:d≥2维时旋转与平移为d+1,允许反射时为d+2;交互示例与Lean定理证明器验证已公开。
一篇 arXiv 论文在 Jetson AGX Orin 上对九个深度估计模型族进行基准测试,涵盖单目方法 Depth Anything V2 和 3、Depth Pro。
一项面向自闭症谱系障碍(ASD)教育的方法让配备摄像头的 Nao 机器人通过视觉大语言模型,将 Shoebox Task 的照片转换为 Planning Domain Definition Language(PDDL)表示并生成动作计划,自主执行任务、提示下一步或通过动作演示、语音与手势报告失败。