TrackDeform3D:基于RGB-D相机的可变形物体无标记3D关键点跟踪与数据集采集框架
TrackDeform3D是一个仅用RGB-D相机即可负担得起且自主的可变形物体3D数据集采集框架,通过识别3D关键点并结合运动一致性约束鲁棒跟踪其轨迹,生成时间平滑、几何一致的数据。
TrackDeform3D是一个仅用RGB-D相机即可负担得起且自主的可变形物体3D数据集采集框架,通过识别3D关键点并结合运动一致性约束鲁棒跟踪其轨迹,生成时间平滑、几何一致的数据。
该研究提出随机神经控制屏障函数(SNCBF)的可验证安全合成方法,针对平滑激活函数与ReLU两种情形,分别给出免验证合成框架和验证在环合成框架。方法在倒立摆、Darboux和独轮车模型三个案例上完成验证。
Cartender 提出 Counterfactual Branching,从真实行车记录中构造匹配与不匹配的指令-动作对而无需仿真器,用视觉-语言模型提出替代未来及其选择指令,不被场景支持的指令作为负样本。
论文提出名为 SSIO 的自监督惯性里程计训练方案,通过让短视教师在每个短窗口内独立积分 IMU 来监督学生模型,即积分自监督;学生虽只被短窗速度变化监督,却学会直接预测速度且比教师更准,随后用位姿图蒸馏以跨窗口一致目标进一步优化。
PaceVLA 提出一种 VLA 自适应时间执行框架,通过共享动作专家上的多粒度动作解码器与量化可行性引导的模式选择、上下文条件路由,在每个推理步决定是否采用粗粒度执行。实验覆盖三个多任务仿真基准与六项真实任务,在多种本体(含长时程与灵巧操作)上提升执行效率的同时保持任务成功率。
论文提出集体经验学习(CEL)范式,让部署中的机器人把自身执行经验汇总起来更新共享策略,再返回车队使用。其实现方式为失败引导经验检索微调(FERT),用失败上下文从成功轨迹中检索相关片段并优先用其记录动作做监督更新,无需额外专家演示或纠正动作;配套的容错异步训练系统(FATS)协调机器人执行、云端推理与策略优化。
推荐理由:论文提出用部署机器人自身执行经验替代专家纠正来迭代策略,并给出96台机器人规模下的实机操作结果。
论文提出 Vector-Quantized World Model(VQ-WM),一种隐空间反馈运动规划框架,将离散长程搜索与连续视觉反馈控制结合:离散隐状态预测器建模向量量化隐状态间的转移,供规划器远距离搜索最短路径,连续学习控制器再通过视觉反馈逐步到达规划状态以纠正偏差、缓解复合误差。
FoveaVLA 是一个用学习到的注视动作替代腕部相机的视觉-语言-动作(VLA)模型,在预测每个动作块的同时预测下一次策略查询需要观察的交互区域,并从原始分辨率图像中裁剪该区域与全景一起输入策略。
Lambda-humanoid Team 发布人形机器人全身移动操作基础模型 λ0,并推出 500 小时开放世界人类移动操作数据集 HumanVerse,将第一人称视频与同步的身体和手部动作配对。
FallGown 是一种由织物外壳内加力气囊构成的软体可穿戴支撑结构,可支撑使用者全部体重以预防跌倒,收纳后 6.9 kg、0.051 立方米,平均穿戴时间不到 2.5 分钟、脱下不到 0.5 分钟。单用户防跌倒测试显示设备尺寸与抗倾倒稳定性存在权衡,带底座、12 个气囊且裙底直径 1.4 米的配置除一次机械故障外阻止了全部跌倒;机载压力传感器可感知用户体重分布,为监测性锻炼和自适应支撑提供可能。
研究团队介绍RoboCap,一顶250克、配六相机与双IMU的头戴设备,用于野外第一人称数据采集,并配套设备无关的3D算法套件Grounded API。报告展示了硬件、标定与3D算法如何配合,在公开基准上取得当前最佳表现,涵盖多种场景与设备下的SLAM、第一人称深度估计,以及适配第三方设备后的手部跟踪。
论文提出通过视觉预测柔性 Fin Ray 夹爪的形变来实现力感知操作,部署时无需力或触觉传感器。方法训练两个模型:先用标定数据训练视觉力估计器为演示标注力估计,再训练动作-力提议策略联合生成候选动作及其对应力,测试时采样候选动作并执行预测力最接近演示目标的动作。该方法在采摘浆果、抓取空罐、手内重定向和插头插入四项任务上进行了评估。
PolyUMI 是一个开源的视觉-触觉-音频演示采集与机器人部署平台,其轻量无线手持夹爪可同步记录腕部相机、光学触觉、接触音频与本体感知观测,无需有线工作站,同一感知手指可迁移到机器人末端执行器以保持采集与策略执行的感知几何一致。
HarnessPAI 提出一个与模型和本体无关的物理 AI Harness 框架,把代码作为组织底层动作原语的可执行、可进化接口。框架区分两个时间尺度:单次 rollout 内以固定程序开环执行并检查,跨 rollout 则依据执行反馈闭环修订程序、把失败蒸馏为可复用技能。
论文提出BAS-VLA,一个构建在冻结基础VLA之上的任务语义动作校准框架,用于应对两类失败:任务语义不变但外观变化时策略产生不必要的动作漂移,以及目标物体或约束等关键语义被改变时策略仍沿用原轨迹。
论文提出 rMuscle,一个受人类肌肉记忆启发的实时视觉-语言-动作(VLA)模型推理框架。作者先对具身工作负载进行分析,发现机器人重复执行任务时在观测、动作轨迹乃至内部模型状态上都存在显著相似性。
该研究提出一种面向机器人超声目标平面探头引导的局部动作条件世界模型框架,采用两阶段基于模型的学习流程:先用潜空间条件扩散世界模型根据近期上下文帧、探头运动和时间偏移预测未来超声观测,再用目标条件时序 Transformer 预测有序探头动作,并用冻结世界模型给出的奖励进行微调。
论文发布 Hilti-Trimble-Oxford 数据集,采集自活跃施工现场,包含30条视觉惯性序列,覆盖10个楼层、跨度8个月,涵盖光照变化、移动工人、快速运动和重复结构等真实挑战。真值轨迹由刚性连接在360相机上的高精度激光惯性SLAM系统采集。作者还报告了配套开放研究挑战的结果,SLAM赛道有62支队伍参赛,而楼层平面定位仅22支,显示后者受关注较少。
ASPIRE(Agentic Skill Programming through Iterative Robot Exploration)是一个持续学习系统,以代码即策略范式自主编写并改进机器人控制程序,将经验沉淀为可复用技能库。
ReStruct 提出在推理阶段引导已学习机器人策略的方法,无需重新训练即可让策略满足训练时未预设的用户偏好。该方法把视觉运动策略分解为高层状态机骨架和低层残差控制器,通过同步积把偏好并入骨架以重构任务结构,控制器保持冻结。仿真与真实实验显示,ReStruct 可处理从物体级指定到时序逻辑约束的多种偏好,引导后在任务成功率和偏好遵循上超过现有方法,最高领先 VLA 模型 25%。
SafeDojo 提出一种基于模型的安全强化学习框架,通过世界模型想象来改进视觉-语言-动作(VLA)策略,避免了昂贵的真实世界探索或手工设计安全函数的依赖。该方法在交互式视频世界模型之上进行在线强化学习,用 ResNet 成功分类器为预测的未来帧打分,配合轻量级安全头从当前隐状态上下文和候选动作块预测每步接触概率,再通过拉格朗日约束的 GRPO 平衡任务执行与轨迹安全信号。
μ0 是一个基于3D轨迹的可扩展世界模型,不预测密集像素也不直接建模动作,而是预测物体、工具、手部和接触区域等显著交互点的平滑3D轨迹,形成与本体无关的紧凑运动接口。
仿真结果表明,该方法相比地形-语义重规划可将UGV累计暴露降低38%,多UAV协调方案将冗余空中覆盖从38.8%降至3.7%。该方法通过风险规避的共享暴露信念指导UGV路径规划,并以任务条件化奖励驱动UAV将感知聚焦于与暴露相关的不确定区域,UAV观测在线更新信念,UGV据此绕开新发现的威胁。多UAV场景采用区域条件化空间分配减少冗余感知。
MiTaS是一个多分辨率触觉表征框架,用模态专用卷积干与基于Transformer的融合结构整合RGB相机、GelSight Mini视觉触觉传感器和高频事件型Evetac传感器的信息,再条件化一个流匹配策略执行下游任务。
OSCAR 提出一种面向图结构导航中临时阻塞的自适应生存建模框架,机器人按障碍物类别从在线经验学习剩余清除时间分布,并集成进带障碍记忆的时变图规划器,在每个被阻塞的边计算等待多久再绕行的耐心阈值。
该论文研究异构多团队协作中的动态机器人分配问题,把机器人视为可转移资源,借鉴生态学中的汉密尔顿规则(Hamilton's rule)设计利他决策机制,并证明一般化的异构资源分配问题是组合优化且NP-hard。
该论文提出反馈世界模型(feedback world model),在推理时利用机器人执行后观测到的真实状态在线闭环修正预测,无需额外训练数据或参数更新。方法可解释为隐空间观测器,并在有界渐近收敛动力学残差和稳定反馈增益下给出收敛保证;同时引入动作感知引导,将修正后的预测更好地转化为控制。
Move-Then-Operate 是一个视觉-语言-动作(VLA)框架,把机器人操作显式解耦为粗略移动(move)和接触关键交互(operate)两个行为阶段,采用由可学习相位选择器路由的双专家策略。
WARPED 是一个从人类演示视频合成逼真腕视角观测与动作的框架,仅用单目 RGB 数据即可训练视觉运动策略。系统利用视觉基础模型初始化交互场景,通过手-物交互管线跟踪手与被操作物体并将轨迹重定向到机器人末端执行器,最后用 Gaussian Splatting 合成照片级腕视角观测直接训练策略。
Safe-Night VLA 是一个多模态操作框架,将长波红外热成像感知接入预训练视觉-语言骨干,使机器人能基于热力学属性进行语义推理,并通过控制屏障函数(control barrier functions)安全滤波器在策略执行时提供确定性的工作空间约束。
ExtremControl 提出低延迟人形机器人全身控制框架,将端到端遥操作延迟从约200ms降至最低50ms。其核心是在底层控制中加入缩放速度前馈,使跟踪延迟减少约70ms,并直接在选定刚体连杆的SE(3)位姿上操作以避开关节空间重定向;论文还推导了闭式笛卡尔空间映射,仅需一次人体测量标定即可适配不同体型的操作者。
论文提出一种仅用单目RGB相机和IMU的高速无人机机载状态估计方法,融合视觉惯性里程计(VIO)、机载地标相机测量与IMU数据,并通过新的数学漂移模型估计并补偿VIO漂移。
HEHA(Hierarchical Exploration with Heterogeneous Agents)提出分层框架,用新路由算法 RCH(Routing with Constraints and Heterogeneity)快速求解带可通行性约束的大规模多哈密顿路径问题(mHPP),为无人机、轮式与腿式机器人分配待探索区域并确定访问顺序。
AFFORD2ACT(Affordance-Guided Keypoints to Act)研究仅用稀疏2D关键点作为输入时操作策略能保留多少能力:用现成的语言条件可供性模型定位任务相关区域,选出最多15个物体关键点加4个末端执行器关键点,把策略输入压缩到19个2D关键点(38个坐标),再用轻量门控决定执行时关注哪些关键点。
研究提出农业机器人视觉语言导航基准 A2A,含 6 类农业场景共 1,560 个片段,采用分步指令与连续动作环境。评测发现现有 VLN 方法在短指令上表现良好、长指令上表现较差,为此提出将复杂指令分解为简单子任务列表的 STL 模块并集成到 NavGPT 主干,SR 从 0.33 提升到 0.47,NE 从 2.76 m 略增至 2.91 m,另附消融研究与案例分析。
AgiBot World Colosseo 介绍 AgiBot World 大规模操作平台,包含超过 100 万条轨迹、覆盖 5 种部署场景下的 217 项任务,数据规模较现有数据集提升一个数量级,并采用带人工在环校验的标准化采集流程。
一项实验室研究使用商用软件定义微隔离工具,在物联网多机器人网络中实现了动态微隔离功能,策略根据资产功能与健康标签自适应调整并自动下发。演示表明该方案能实时自动隔离指定威胁,同时维持未受影响节点的正常运行,验证了微隔离在物联网网络中应对威胁与中断的可行性。
一项研究提出在视觉便携式管线中引入激光指示器,用于多物体场景下的目标消歧,以支持上肢假肢的抓取选择与预成形。该方法通过混合现实策略复用已有高质量分割掩码生成训练图像,并重新训练深度卷积神经网络。实验结果显示,目标消歧精度相比现有方案最高提升 9%,同时保持计算成本不变。
AOV-GS 是一个主动式 3D Gaussian Splatting 建图系统,用冻结的基础模型引导探索,无需人工标注分割掩码或封闭语义类别。粗探索阶段它根据 SAM 实例分割计算的 CLIP 掩码嵌入新颖度对几何候选视角重排序,把探索偏向语义信息量大的区域;离线拟合的轻量场景语言场直接对齐采集到的 CLIP 嵌入,支持开放词汇文本查询分割。
一项研究评测了七个可本地部署的视觉-语言模型(VLM)在两个以人为中心的热成像数据集上的人类活动理解能力,诊断任务涵盖细粒度动作识别、活动时间线重建与拒答能力。