研究:视触觉传感器主动采样用于硬度分类
论文研究基于视触觉传感器(VBTS)的主动采样策略,以实现样本高效的硬度分类,使用模型不确定性的信息论度量。作者在自建机器人采集的 VBTS 数据集和已发表数据集上评估了三种概率分类器、两种主动采样策略与随机采样基线,并针对相同物体开展了人类硬度分类研究。结果显示,以方差和熵作为不确定性度量的主动采样方法表现最佳,准确率达到 90%,而人类准确率为 48%。
论文研究基于视触觉传感器(VBTS)的主动采样策略,以实现样本高效的硬度分类,使用模型不确定性的信息论度量。作者在自建机器人采集的 VBTS 数据集和已发表数据集上评估了三种概率分类器、两种主动采样策略与随机采样基线,并针对相同物体开展了人类硬度分类研究。结果显示,以方差和熵作为不确定性度量的主动采样方法表现最佳,准确率达到 90%,而人类准确率为 48%。
研究团队采集带标注的第一视角网球数据集,训练并评测图像编码器、视频编码器和视觉语言模型在七项时空预测任务上的表现。最佳模型当前帧定位误差为自视角球员0.14米、球0.54米,1.1秒内轨迹预测误差分别为0.34米和0.91米,触球时间预测平均误差0.14秒。辅助深度信息明显改善3D球定位,更长的图像历史未提升球轨迹预测;团队还提出条件扩散模型,以实时速率从第一视角视频生成全身网球运动学动作。
作者提出以多任务冠脉感知网络 MCP-Net 为核心的仿真驱动框架,用于机器人导丝导航,将冠脉血管分割、血管拓扑提取与路径图生成整合在一起。该方法从三维冠脉 CT 血管造影生成含模拟导丝、不同严重程度狭窄病变和多种血管几何的模拟透视图像及仿真真值,MCP-Net 从单帧透视图像联合完成血管分割、导丝尖端定位和狭窄定位。
ThinkWorld 是一个视觉-语言-动作(VLA)学习框架,把每个动作思考表示为动力学链(CoD),即一串离散运动 token,刻画当前世界到未来状态的中间动力学,并作为跨本体的通用动作表示。
研究团队提出面向 LEAP 灵巧手的在手中物体位姿到达训练配方,在仿真中无需人类数据训练,经系统辨识后零样本迁移到实机,可用动作捕捉或腕部单目深度相机。在 4 个物体、4,800 个未见目标、13.3 小时实机评测中,基于状态的策略在 2 cm 和 0.4 rad 内到达 95.2% 的目标;叠加可调保守度的学习残差安全过滤器后掉落减少 75%,仍到达 91.5% 的目标。
RESPLE2 提出一种基于非均匀B样条的递归多传感器状态估计框架,用于6自由度运动表示,并利用节点钳制边界性质,由惯性运动学直接预测控制点。该方法在迭代扩展卡尔曼滤波中完成预测与重置,并在更新步骤按原生时间戳融合LiDAR、相机、IMU和腿部运动学;另设轻量全局优化模块,用LiDAR-视觉回环约束精修控制点。
作者提出一种解析式事件仿真器,直接由场景几何和自运动合成事件流,不经过图像渲染,单GPU生成64x64事件观测仅需17微秒,比先进渲染管线快400倍以上。基于该仿真器的事件相机强化学习避障策略训练不到30分钟即可收敛,比渲染事件训练快三个数量级,并可零样本迁移到Isaac Sim光线追踪事件仿真。
推荐理由:该工作用解析式事件仿真绕开图像渲染,把事件相机强化学习训练时间压到30分钟以内,并完成56克无人机实机部署。
StabBot 机器人对扣系统用摆锤卡尔曼滤波在立体图像中跟踪管接头,并以匹配速度靠近、通过触觉确认最后几毫米。在 200 组随机作业中,StabBot 全部完成对扣,传统固定导向器为 74%;中位接触速度从 18.4 cm/s 降至 2.3 cm/s,中位峰值头管力从 11.3 kN 降至 1.4 kN。
研究在仿真双臂工具使用任务上测量各传感通道能让诊断器判断出哪些失败原因:工具从插槽滑脱可在工具手一侧读出,哪只手延迟需双臂信息,单手机传感器只能读出本手延迟和另一手部分延迟,工具手延迟时无法从被动传感判断是否同时推力不足。
World Dreamer v5-lite 是一个面向多机器人的世界动作模型,通过共享世界状态为各机器人分别预测动作序列。该模型用预训练视频编码器的校准特征在工作空间坐标中构建世界状态,其空间尺寸不随视角增加而改变;视觉语言模型提供场景上下文并为每个机器人提供一个查询,各查询读取共享状态并交换位姿感知信息,但动作流保持独立。
Ego-CEVR 提出一种数据原生的分层视觉表征学习框架,将全局表征与交互表征分配不同的学习目标。全局模块通过在第一视角视频上做未来预测,学习物体关系、任务状态和时间进度;交互模块结合全局上下文解读腕部观测,并通过机器人动作监督学习局部对齐与接触线索。两条残差路径把两种表征同时送入动作策略,全局视频模块可在大规模人类第一视角视频和多种机器人本体视频上独立预训练,无需机器人动作标签或配对的腕部观测。
研究提出 MARL-Exo 多智能体强化学习框架,让全身肌肉骨骼模型与双侧髋部外骨骼策略在仿真中分两阶段共同训练,外骨骼仅观测延迟的髋部运动学与历史指令。仿真中代谢策略使建模肌肉代谢功率较无设备行走降低 13.8%,加入机械功率塑形后为 8.8%。
AuRaSim 是一个基于射线追踪的车载 FMCW 雷达仿真框架,面向动态场景生成相干多通道 ADC 数据。它基于 Blender 构建动态场景、基于 Sionna RT 做 GPU 加速电磁射线追踪,并加入路径级复系数传播、运动感知多普勒建模和波形配置驱动的 ADC cube 合成。在数字孪生场景中,仿真与实测距离-多普勒图的 RMSE 为 0.147、PSNR 为 16.93 dB。
PDRVLA提出轻量物理动力学模块,从视觉-语言特征中提取物理token来条件化动作生成,无需在线生成视频。该模块通过直接预测未来RGB、深度和光流特征学习,并以冻结的预训练视频世界模型做辅助监督,训练数据全部来自公开数据并经人到机器人合成、子任务标注和具身思维链(ECoT)标注扩充。
作者提出一种全自动、无需标靶的框架,可从原始图像和 LiDAR 扫描中联合估计相机内参、径向-切向畸变和相机-LiDAR 外参。该方法通过内参与畸变感知的对应学习,把基于深度像素点对应的标定从校正图像推广到原始相机,并在标定中迭代耦合对应预测与非线性优化。在 KITTI 未见配置和三个真实机器人平台上的零样本评测显示,联合标定提升了外参精度,同时恢复了准确的内参。
针对月球重力(1.625 m/s²)下的平面单腿机器人,研究提出双层协同设计框架:差分进化外层搜索连杆长度,每个候选方案由QP任务空间控制器(QP-TSC)或直接配点轨迹优化评估垂直跳跃性能。
研究者在低成本 SO-101 机械臂上,用 12 到 200 条遥操作示教训练 ACT、Diffusion Policy、SmolVLA 和 π0.5 四种模仿学习策略,共评测 1340 个回合。
RAVEN 是一个面向四旋翼的主动 SLAM 框架,在定位不确定性下统一规划探索与主动回环,并通过 0 到 1 的优先级参数调节探索效率与定位精度的侧重。框架先识别前沿与主动回环候选并生成全局巡游方案,再用效用向量评估,最后由感知感知导航规划器基于在线 Fisher 信息场生成平滑轨迹以降低视觉状态估计误差。
作者提出GAWM(Geometry-Aware World Model),一个在冻结DINOv3编码器潜在空间中预测未来观测的紧凑多任务世界-动作模型,参数量不足1亿且未做机器人或视频预训练。
该研究提出一种面向混合刚柔空间机械臂的状态重建流程,其远端连杆为腱驱动连续体机器人。方法将估计问题建模为以关节编码器和视觉测量为条件的最大后验推断,并转写为因子图,融合异构测量与刚柔运动学模型,同时采用几何可变应变(GVS)方法得到最小阶构型参数化。仿真闭环轨迹验证了状态重建精度与计算性能。
ActiveAlign 提出用主动感知缩小 Real2Sim2Real 差距的框架,包含 ActiveAlign-Waving 和 ActiveAlign-Touching 两个模块。
Trace-WAM 提出在世界动作模型的视频-动作学习中增加未来三维运动预测作为辅助目标,监督时序点对应、图像平面位移与深度变化,直接刻画操作中的交互动态与空间变化。
TAPESTRY 将机器人动作视为视频模型潜空间中的单 patch token,把预训练视频扩散 Transformer 改造成机器人策略,推理时无需生成视频。
针对2027年NASA人类探索漫游车挑战赛高中遥控组,一项研究给出四轮教育漫游车的集成可复现设计评估:10.919 kg、215 mm车轮在200 RPM下理论滚动速度8.105 km/h,标称电机参数不足以证明满足8 km/h设计上限。
RynnWorld-Latent 是一个跨本体视频世界模型,以 RynnLAM 提出的三维接地潜在动作作为共享条件接口,使人类交互视频、机器人演示与仿真数据无需统一原生动作空间即可联合预训练。
作者提出一套可追溯框架,包含 LAM、OpenSDL、Safe-SDL 和 L3-Bench 四个组件,用于连接实验规划、自动化执行与测量反馈。LAM 是测量条件化的策略架构,在视觉-语言-动作范式上扩展,同时生成连续机器人轨迹和带类型的仪器 API 调用;OpenSDL 负责把角色级操作映射到异构设备并记录带时间戳的因果事件。
论文提出一种让两台个人出行车辆(PMV)并排自主行驶的方法:给定全局路径后,两车各自运行基于采样的模型预测规划器,仅交换彼此可观测到的里程计信息,并通过共同的规则在候选轨迹对的效用矩阵上做出联合决策。
该论文以打磨任务为案例,结合仿真与两台轻量无驱动轮式测试平台实验,刻画移动操作机器人非刚性底座效应。在底座与地面阻力较低时,100 N 指令仅实现 54-70%,工具中心点误差达 100 mm;接触过程中提高底座与地面阻力可改善力实现并阻止工具继续位移,而底座振动与力跟踪误差在测试条件下未呈现一致关系。研究由 Zongyuan Zhang 等人完成,已被 ACRA 2026 接收。
RoboSTD 是一种面向双臂机器人学习的零样本单臂到双臂数据构造方法,通过对观测、本体感知和动作做矢状面镜像生成可执行的对侧伪示教,再用 LLM 生成结构化时空协调约束,指导跨工作空间区域和任务阶段的伪双臂监督重建。研究在 AgileX ALOHA 平台的 RoboTwin 仿真和真实环境中评估,无需额外双臂示教,在收集杯子任务中收集到的杯子平均数量达到单臂基线的 2.11 倍。
该论文提出学习型 real-to-sim-to-real 框架,通过代理辅助逆向设计与不确定性引导修正,把生物曲线转成缆驱动模块化软体机器人的构型。学习型前向代理将形变预测时间从 1.53×10^5 ms 降到 0.0008 ms,约 1.9×10^8 倍加速;逆向设计时间从 1.99×10^6 ms 降到 4.18 ms。
SWIM 提出用逆动力学模型从离线轨迹中学习状态特征权重,用于 JEPA 世界模型的状态监督训练。该方法通过由当前状态和观测到的未来位移预测已记录动作,量化各状态特征对动作预测的贡献,并据此构建加权状态度量来对齐潜空间与状态距离。逆动力学模型只在训练阶段使用,规划时仍仅依赖图像;在五个仿真机器人操作任务上,SWIM 的规划成功率一致优于均匀状态加权。
作者提出 HumiTransfer 框架,把野外拍摄的人-人交互视频转换为物理可行的人-人形机器人交互动作。该方法先重建带脚地接触的3D人体运动,再通过交互建模把其中一方迁移到目标人形本体,并用重定向后优化保证平衡、接触与避碰。
作者提出 QuadPose,从单目视频序列估计四足机器人全身 18 自由度位姿,包括 6 自由度基座位姿和 12 自由度关节角,并发布首个相机到四足机器人位姿基准 QuadSyn。在 QuadSyn 上,QuadPose 达到 92.18% PCK@2.5px、85.94% ADD@20cm,平均关节角误差 3.65 度,运行速度约 33 FPS。
OpenJaws 是一个完全开源的传感器化 UMI 软硬件框架,用模块化 3D 打印夹爪搭配低成本双目相机恢复米制相机轨迹,以改善手持示教中的动作标签定位精度。作者同时提出 UMI-Loc-Bench-v1 基准,用于量化手持采集设备的真实定位精度,并显示双目定位明显优于单目方案。用 OpenJaws 采集的数据训练出的策略已在真实机器人上跨多个任务部署,硬件、软件和数据以商业友好许可发布。
REACH 是一个基于强化学习的分层框架,让 Unitree G1 人形机器人通过可变高度双足行走与爬行穿越高度受限环境。其策略在双足行走 1.27–0.50m、爬行 0.50–0.20m 的互补指令区间内调节身体高度,并用双向切换策略连接蹲行与爬行;框架还结合 LiDAR 规划器把点云转成无碰撞三维路径与运动指令。实机实验验证了高度与速度跟踪、地形通行、模式切换和受限空间穿越,代码与视频已公开。
CARD 是一个无需仿真器和物体模型的框架,通过显式保留接触力目标,将人类演示重定向为机器人动作,并统一处理视频、动捕和触觉手套数据。在视频、手套、动捕数据及 GRAB 数据集上,CARD 在 43%–78% 的接触帧上保持接触,而纯运动学和物体感知重定向方法分别低于 10% 和 22.5%。
研究提出 MyoAcross 框架,结合个体肌肉骨骼模型构建、形态条件化策略学习与虚拟模型增强,实现无需逐个体微调的肌肉驱动参考运动跟踪。在 31 个留出个体模型上完成率达 99.24%,跟踪误差较无条件多层感知机降低 22.60%。策略复用还扩展到由单图形状估计、身高和体重构建的 22 个留出个体模型,以及经不对称增强的单侧下肢缩短模型。
RoboAuto 提出一种机器人程序搜索框架,从物体、场景和交互三个层级组织物理理解,用于指导 LLM 智能体生成和修正操作程序。该方法在五个基准系列上取得更优表现,在短程 LIBERO-PRO 任务上成功率达 89.1%,在 LIBERO-PRO Long 和 LIBERO-Plus 上的平均成功率超过 ASPIRE 的两倍。
SVIn+ 是一个面向自主水下航行器(AUV)的多传感器状态估计框架,在开源视觉惯性 SLAM 系统 SVIn 基础上,将水压与 DVL 测量接入紧耦合非线性优化,并用 KISS-ICP 解耦前端生成相对位姿因子,把 3D 声呐结构信息纳入因子图。作者在沉船与珊瑚礁场景开展实地部署,验证了漂移抑制与全局一致性。论文为 IROS 2026 收录,代码与数据集已在项目网站公开。
该研究提出用随机运动分词器生成简洁的离散运动表示,可直接输入全身跟踪策略,在Unitree G1上执行舞蹈、格斗和行走动作。在同等容量下,该分词器对Unitree G1动作的重建水平超过FSQ和VQ-VAE。实机演示中,生成动作各持续16.8秒,并完成一段35秒的格斗到舞蹈序列。