MiTaS多分辨率触觉模仿学习框架用于接触密集操作任务
MiTaS是一个多分辨率触觉表征框架,用模态专用卷积干与基于Transformer的融合结构整合RGB相机、GelSight Mini视觉触觉传感器和高频事件型Evetac传感器的信息,再条件化一个流匹配策略执行下游任务。
MiTaS是一个多分辨率触觉表征框架,用模态专用卷积干与基于Transformer的融合结构整合RGB相机、GelSight Mini视觉触觉传感器和高频事件型Evetac传感器的信息,再条件化一个流匹配策略执行下游任务。
OSCAR 提出一种面向图结构导航中临时阻塞的自适应生存建模框架,机器人按障碍物类别从在线经验学习剩余清除时间分布,并集成进带障碍记忆的时变图规划器,在每个被阻塞的边计算等待多久再绕行的耐心阈值。
该论文研究异构多团队协作中的动态机器人分配问题,把机器人视为可转移资源,借鉴生态学中的汉密尔顿规则(Hamilton's rule)设计利他决策机制,并证明一般化的异构资源分配问题是组合优化且NP-hard。
该论文提出反馈世界模型(feedback world model),在推理时利用机器人执行后观测到的真实状态在线闭环修正预测,无需额外训练数据或参数更新。方法可解释为隐空间观测器,并在有界渐近收敛动力学残差和稳定反馈增益下给出收敛保证;同时引入动作感知引导,将修正后的预测更好地转化为控制。
Move-Then-Operate 是一个视觉-语言-动作(VLA)框架,把机器人操作显式解耦为粗略移动(move)和接触关键交互(operate)两个行为阶段,采用由可学习相位选择器路由的双专家策略。
WARPED 是一个从人类演示视频合成逼真腕视角观测与动作的框架,仅用单目 RGB 数据即可训练视觉运动策略。系统利用视觉基础模型初始化交互场景,通过手-物交互管线跟踪手与被操作物体并将轨迹重定向到机器人末端执行器,最后用 Gaussian Splatting 合成照片级腕视角观测直接训练策略。
Safe-Night VLA 是一个多模态操作框架,将长波红外热成像感知接入预训练视觉-语言骨干,使机器人能基于热力学属性进行语义推理,并通过控制屏障函数(control barrier functions)安全滤波器在策略执行时提供确定性的工作空间约束。
ExtremControl 提出低延迟人形机器人全身控制框架,将端到端遥操作延迟从约200ms降至最低50ms。其核心是在底层控制中加入缩放速度前馈,使跟踪延迟减少约70ms,并直接在选定刚体连杆的SE(3)位姿上操作以避开关节空间重定向;论文还推导了闭式笛卡尔空间映射,仅需一次人体测量标定即可适配不同体型的操作者。
论文提出一种仅用单目RGB相机和IMU的高速无人机机载状态估计方法,融合视觉惯性里程计(VIO)、机载地标相机测量与IMU数据,并通过新的数学漂移模型估计并补偿VIO漂移。
HEHA(Hierarchical Exploration with Heterogeneous Agents)提出分层框架,用新路由算法 RCH(Routing with Constraints and Heterogeneity)快速求解带可通行性约束的大规模多哈密顿路径问题(mHPP),为无人机、轮式与腿式机器人分配待探索区域并确定访问顺序。
AFFORD2ACT(Affordance-Guided Keypoints to Act)研究仅用稀疏2D关键点作为输入时操作策略能保留多少能力:用现成的语言条件可供性模型定位任务相关区域,选出最多15个物体关键点加4个末端执行器关键点,把策略输入压缩到19个2D关键点(38个坐标),再用轻量门控决定执行时关注哪些关键点。
AgiBot World Colosseo 介绍 AgiBot World 大规模操作平台,包含超过 100 万条轨迹、覆盖 5 种部署场景下的 217 项任务,数据规模较现有数据集提升一个数量级,并采用带人工在环校验的标准化采集流程。
一项实验室研究使用商用软件定义微隔离工具,在物联网多机器人网络中实现了动态微隔离功能,策略根据资产功能与健康标签自适应调整并自动下发。演示表明该方案能实时自动隔离指定威胁,同时维持未受影响节点的正常运行,验证了微隔离在物联网网络中应对威胁与中断的可行性。
一项研究提出在视觉便携式管线中引入激光指示器,用于多物体场景下的目标消歧,以支持上肢假肢的抓取选择与预成形。该方法通过混合现实策略复用已有高质量分割掩码生成训练图像,并重新训练深度卷积神经网络。实验结果显示,目标消歧精度相比现有方案最高提升 9%,同时保持计算成本不变。
AOV-GS 是一个主动式 3D Gaussian Splatting 建图系统,用冻结的基础模型引导探索,无需人工标注分割掩码或封闭语义类别。粗探索阶段它根据 SAM 实例分割计算的 CLIP 掩码嵌入新颖度对几何候选视角重排序,把探索偏向语义信息量大的区域;离线拟合的轻量场景语言场直接对齐采集到的 CLIP 嵌入,支持开放词汇文本查询分割。
一项研究评测了七个可本地部署的视觉-语言模型(VLM)在两个以人为中心的热成像数据集上的人类活动理解能力,诊断任务涵盖细粒度动作识别、活动时间线重建与拒答能力。
该研究考察世界模型在物理条件超出训练分布时的预测退化问题,比较了预测器可用输入与机制计算方式两个因果建模要素。在带捷径特征的合成基准上,基于配对干预导出的冻结依赖掩码将全连接预测器的分布外RMSE从1.769降至0.697,接近生成器oracle掩码的0.694。
RoPT 是一个面向机器人交互的 6DoF 物体位姿跟踪框架,将视觉感知、时序运动学与全局重定位耦合成闭环,以应对单目管线在快速运动下的灾难性发散。其视觉模块跟踪物体掩码以处理部分与严重遮挡;运动学因子图对帧间更新做正则化、预测前向位姿并驱动并行多假设验证以规避局部极小;主动重定位模块使系统具备失效感知与确定性自恢复能力。
PCLA-Bridge 是一个可部署工具,能在不启动 CARLA 服务器的情况下,让未经修改的 CARLA Leaderboard 智能体从任意传感器源运行到任意控制目标。
论文提出 AW-0,一个把基于代码的规划与联合视频、动作预测结合的智能体世界动作模型框架。它在统一的 mixture-of-transformers 架构中同时建模代码、未来视频和机器人动作三条耦合生成流:代码专家生成参数化的技能例程与控制逻辑,视频和动作专家生成未来视觉状态与底层电机指令。
PhysiCalWorld 提出通过上下文提示(in-context prompting)对动作条件世界模型进行物理校准,无需微调或解析物理建模,以适配实例级动力学。
CW-WAM 是一个联合预测视频、运动与接触力矩的世界动作模型,受混合力位控制启发,用统一交互模块预测时间对齐的运动-力矩片段作为控制参考。它用成对因果注意力结构化运动与力矩依赖,并以定长力矩记忆保留历史交互信息;预测的力矩片段作为 20 Hz 外环导纳控制器的力参考。
论文提出PAPAV,一个以能力为中心的统一框架,将多模态具身智能体(MMEA)的反复出现的功能归纳为五项:Perceive感知当前状态、Anticipate预判动作效果、Plan规划可行路径、Act通过接口或身体执行、Verify验证结果。
作者提出 ASTEROID,一个学生-教师监督学习框架,让学生在同策略收集的部分可观测上下文上接受特权专家的动作标注,从而学会测试时探索。在 11 个环境(含离散探索基准、机器人操作、导航和 Procgen)中,固定探索预算下回报约为 2 倍,交互量比强化学习基线少约 100 倍,并在探索上超过前沿模型。该方法还把仿真训练的策略迁移到视觉受限的真实机器人操作,成功率比标准蒸馏提升 40%。
论文提出AtomicRL,一种利用原子任务结构改进视觉-语言-动作(VLA)策略强化学习后训练的框架。其核心包括语义感知策略优化(SAPO),通过语义门控阻止失败原子子任务的TD残差跨任务传播以减轻信用污染;以及瓶颈自适应目标探索(BATE),依据各子任务掌握程度动态协调任务采样与局部探索激励。
研究在仿真 Unitree G1 上用同一配方训练 12 个策略,变化重力、地形几何与地面接触模型(刚性或三维阻力理论 3D RFT),并测试地球到月球微调与重力随机化。
RISE 是一种感知人形机器人跌倒恢复方法,可在推理时用任务目标引导机器人以何种方式站起。它学习一个将预期动作与运动通过感官反馈关联的恢复词表,视觉扩散规划器从该词表的执行中学习,将运动意图预测为未来身体状态,任务代价引导其朝期望朝向、起身速度或路径预测,再据此生成运动潜变量。仿真展示了多样恢复、地形适应与无需重训练的测试时引导,并在 Unitree G1 上进行了真机演示。
研究提出一个统一的闭环操作评测框架,在LIBERO-10基准上评测前沿AI模型无需任务特定微调直接通过视觉观测、机器人本体感知和结构化工具调用控制机器人的能力。
SP-HLM 提出一种稀疏姿态驱动接口框架,用五个任务关键身体姿态加学习到的隐式运动先验,以互补形式表示空间意图与全身协调。SP-VLA 视觉-语言-动作模型先从多模态观测和语言指令中异步动作块推理预测任务相关稀疏姿态与手指关节位置,SP-MGM 运动生成模型经两阶段蒸馏实时重建全身协调运动,SP-GMT 通用运动跟踪器再将显式稀疏目标与隐式运动先验结合用于全身控制。
TARSphere 是一个面向物理与社会环境持续变化下长时程具身智能体的机器人全栈框架,包含在物理仿真中运行机器人策略的 TARSphere-Infra、让冻结多模态大语言模型通过多层可执行技能决策的 TARSphere-Harness,以及包含 30 个室内场景 360 个 episode 的评测基准 TARSphere-Bench。
DONIC 是首个跨操作类别与人体动作来源联合训练的通用双臂灵巧跟踪器,同时发布多视角数据集 BiHOI,含 1,575 段序列、覆盖 229 个物体,重建的交互被重定向为机器人参考。
arXiv 论文提出一种物体与任务感知的主动感知框架,让高自由度移动操作机器人在导航中用手部相机主动检视不确定或安全关键区域。该框架采用概率化的下一最佳视点(NBV)公式,并与分层任务模型预测控制(HTMPC)集成,利用运动学冗余调整视角,同时保持底盘轨迹跟踪的更高优先级。实机测试显示,相比被动或非任务感知基线,该系统提升了地图一致性、降低了任务相关地图熵与导航风险。
HuMiT 是一套人形机器人全身遥操作系统,其统一跟踪策略仅需紧凑参考目标,包括根高度、根速度以及当前帧四个稀疏关键点的 SE(3) 位姿,就能达到与依赖完整关节位置、密集部件变换乃至未来帧的方法相当的跟踪精度。
RangeNav 是一个仅 18.3 万参数、完全在合成数据上预训练的 LiDAR 距离图像编码器,用各向异性卷积和循环填充处理距离图像的极端长宽比与方位角接缝。
该研究提出一种基于样条的运动基元表示方法,将空间几何与时间进程统一到一组连续变量中,联合估计共享 Bezier 曲线,并允许空间与时间模型复杂度独立自适应调整。仿真验证了关节恢复精度、模型复杂度与连续性修改带来的细化效果,以及对演示集方差的鲁棒性提升。在机器人辅助翻身任务中,以物理假人评估了在线重定时与同步能力。
arXiv 论文将物理 AI 的零样本泛化形式化为对部署分布的覆盖,指出同一采集者增加样本只能缓慢缩小未见区域,而每新增一位贡献者都能扩展覆盖。基于此,论文提出融合多模态对齐、生成式增强与噪声标签学习的机器人动作共享潜空间,并建议开发者围绕标准机器人 Origmi 构建应用以提供多样化数据,最后给出关联实机零样本成功率与数据多样性的可检验假设及评测协议。
arXiv 论文提出 OMAR,一个开放世界多属性推理流程,用于在无用户偏好说明的情况下推断货架的潜在组织方式并对新物体的摆放位置排序。视觉-语言模型先提出物体标签及内容、包装类型等属性,经分割、深度和多视图关联完成落地,再由大语言模型在实例级 3D 场景图上推理并给出与场景一致的摆放排名,随后进行几何与运动学可行性检查以执行。
论文提出后验核方差头(post-hoc kernel-variance heads),从单一策略的嵌入中估计认知不确定性,无需回归目标或梯度更新,也不改变原策略。
arXiv 论文提出将自主系统故障分析区分为复现与避免两个目标,并形式化"必要因果解释"概念,与既有"充分解释"共同构成统一的因果分析框架。论文基于实际因果性(actual causality)与因果责任(causal responsibility)给出生成必要解释的高效近似算法,并在多个环境中评估效率,通过反事实生成验证其在故障避免上优于现有方法。
SpatialDex 是一个从纯 RGB 人类视频学习 3D 接地双臂灵巧操作的框架,通过重建增强的视觉运动预训练,同时学习人类行为及其空间上下文。它从每段视频重建场景几何并估计手部运动,用 3D 手部估计的手尺寸先验在视频级尺度上对齐二者,并将重建几何同时作为策略输入和预测目标。