HiSTEVE 1.0:面向开放世界游戏的分层 VLA 智能体
HiSTEVE 1.0 是一个分层 VLA 智能体,通过能力感知的智能体框架在 Minecraft 中实现长程自主与原生键鼠控制。其编排层用结构化记忆跟踪进度、由 VLM 规划器在 VLA 能力范围内选择子任务,控制层由单个 VLA 以纯视觉感知执行全部子任务。
HiSTEVE 1.0 是一个分层 VLA 智能体,通过能力感知的智能体框架在 Minecraft 中实现长程自主与原生键鼠控制。其编排层用结构化记忆跟踪进度、由 VLM 规划器在 VLA 能力范围内选择子任务,控制层由单个 VLA 以纯视觉感知执行全部子任务。
研究检验预训练 LeWorldModel(LeWM)对小幅动作变化的复现程度,在 Reacher 与 OGBench Cube 近千个状态上,用 Gram 矩阵在三种扰动尺度下测量动作敏感性。
该研究提出一套可解释性流水线,发现向动作专家注入任务A的激活可使pi0.5在99.6%的回合(n=1,968)中执行任务A的运动轨迹,且该注入程序绑定绝对工作空间坐标而忽略可见场景,为基准报告的扰动脆弱性提供了机制解释。
同一新闻,精选展示《研究用激活注入机制解析视觉-语言-动作模型》
伊利诺伊大学厄巴纳-香槟分校 Grainger 工程学院的研究者将强化学习与控制理论结合,提出收缩感知强化学习方法 CARL,在保证机器人稳定性的同时将跟踪性能较现有方法提升最多 15%。
ConfigWM 提出可配置感知机制,以任务语言描述作为配置信号,引导视觉嵌入映射到任务特定状态空间,选择性保留任务相关信息并抑制干扰。在干扰逐步增强的环境中,现有方法规划成功率显著下降,而 ConfigWM 保持相对稳定,平均比最强竞争方法高 22.3%。物理量探测(Pearson r +0.365)和干扰到干净检索(+75.5%)也有一致提升。
格里菲斯大学博士生李龙、清华大学交叉信息研究院博士生赵启超与复旦大学、同济大学团队提出 Spotter:让具身模型持续自主执行,轻量级本地模型并行监督,VLM 只在出错时介入纠错,避免机器人每步都等待 VLM 推理。
Slot-JEPA 将 JEPA 的稠密 patch 表征分解为稳定的语义 slot 与随时间变化的空间掩码,提供可复用的对象结构化接口。基于该接口的 Transition Memory Predictor(TMP)将视觉转移存储为紧凑掩码,用 slot 统计量检索上下文,并以非平衡最优传输(UOT)监督掩码预测与评估候选规划。
北京大学团队提出的DragMesh: Interactive 3D Generation Made Easy 被IJCV接收,面向已有3D资产的局部交互,通过一次拖拽恢复目标部件的关节类型、运动轴和关节原点,并生成完整连续的关节运动轨迹,无需针对每个新物体重新训练motion model。
研究提出多智能体世界模型 OverSeer,在智能体第一视角之外加入固定在空间中的辅助相机视角,作为世界中心表征的代理,以提升时间与跨智能体一致性。辅助视角冗余且近似静态,可用只编码相对静态参考图变化的 delta-VAE 高效压缩,减少所需 token 数量。
一个机器人项目在仿真中通过进化搜索与AI生成CAD,让机器人迭代设计并测试夹爪等工具以提升任务表现,机器人动作目前仍来自预定义任务控制器。下一步计划用Arctos机器人和3D打印机做实机验证,作者正寻求自动从打印平台取下夹爪手指的建议。
逆矩阵与vLLM、智源研究院、北京大学联合发布的物理AI推理系统PhysisServe,在200张GPU上让33B参数的MiniMax H3每隔4.083毫秒完成一个chunk,约每秒245个chunk,等效帧吞吐接近每秒1000帧,稳态输出间隔短于1.3B参数的Wan2.1。
NVIDIA 研究团队提出 JCA 模型,可为任意给定骨架同时生成视频与可回放的 3D 动作,并输出将动作配准到场景的相机。该模型把 3D 动作保留在独立模型中支持任意骨架,通过少量交叉注意力层连接预训练视频模型,动作模型先用纯动作数据学习骨架运动。
Urbex 是面向城市尺度三维场景的智能体视觉-语言框架,将依赖预生成候选框的静态排序转为主动空间搜索,通过地标查询、局部放大、倾斜视图三种工具逐步缩小范围,并用 GRPO 强化学习优化工具调用策略。
从离线数据估计赋能(empowerment)很有用,因为它为学习各状态到达多样化结果的相对"价值"提供了一个无监督目标。但众所周知,使其可计算非常困难。在我们的新论文中,我们提出了一个可计算的估计器,以及一些应用!
CondenseVLA 提出在 VLA 策略解码端加入可学习的历史压缩模块,用可学习查询和多头交叉注意力将 VLM 主干缓存的逐帧特征蒸馏为固定数量的槽位令牌,并用辅助正则惩罚槽位注意力图重叠、去相关槽位嵌入以减少冗余。
VLA-Rolling 是一个轻量级推理框架,通过动作尾部继承、逐动作置信度估计以及基于再加噪和去噪步数分配的置信度引导精修三个阶段复用动作尾部,底层 VLA 模型保持冻结。
该研究给出了多机器人运动规划问题的首个完全多项式时间近似方案(FPTAS),适用于多边形环境中固定数量k个平移多边形机器人,覆盖min-sum、min-max与min-makespan三种目标。算法可推广到任意固定维度d的多胞体环境与多胞体机器人,并解决了Agarwal等人此前关于k=2单位正方形单位圆盘机器人FPTAS的公开问题,且比已有结果更简单。论文将发表于SODA 2027。
RoboFake 论文提出用真实人形面部机器人同步口型与表情、配合生成语音构成无像素编辑的新型呈现攻击,并测试了三个公开呈现攻击检测(PAD)模型和六个深度伪造检测器。
TAPDreamer 提出一种仅用公开编码器构造固定局部对抗补丁的攻击方法,无需查询目标策略,可跨任务与动作架构迁移。在闭环评测中,覆盖输入约6.5%的冻结补丁使 FastWAM 在40个 LIBERO 任务上的成功率从97.7%降至0.0%,在50个 RoboTwin 任务上从90.86%降至0.0%,而匹配随机补丁仍保留81.5%和79.2%。
FERPO(Forward Entropy-Regularized Policy Optimization)是一种在线最大熵强化学习算法,通过对critic的值而非动作求导来改进策略,避免价值预测准确但动作导数不可靠导致的策略更新问题。
EMMA框架通过生成数据引擎与训练流程增强视觉-语言-动作(VLA)策略,缓解跨外观机器人操作数据采集成本高的问题。其核心组件DreamTransfer基于扩散Transformer,生成多视角一致且几何合理的操作视频,支持对前景、背景和光照做文本驱动编辑并保持三维结构。
Gibson Virtual Environment 通过虚拟化真实空间为具身智能体提供感知训练环境,目前包含来自 572 栋完整建筑的 1400 多个楼层空间。其内置的 "Goggles" 合成机制可让训练后的模型直接部署到真实世界,无需额外的域适应。该环境使智能体受物理与空间约束,论文展示了在其中学习的样例感知任务,代码、数据集与项目网站已开放。
Taskonomy 提出一种完全计算化的方法,对 26 个 2D、2.5D、3D 与语义视觉任务在隐空间中建模,挖掘一阶及高阶迁移学习依赖关系,生成任务迁移分类图谱。
论文提出 PhysWord,一个先推理后动作的机器人基础模型,用原子动作词作为共享语义锚点,将连续物理动态表示与语言对齐。PhysWord 预测后续原子动作词,并将其上下文隐状态与未来观测导出的隐式目标对齐,构建带视觉和可选触觉变体的时序结构化 PhysWord 空间。
研究者开发了一种分层仿生机器人皮肤,将受体模拟传感器嵌入柔性软介质中,以模拟人类皮肤组织的关键结构特征。利用该平台,研究实现了生物启发和反事实两种感觉器排列方案,并在弱接触检测、两点辨别和纹理识别三项被动触觉任务中进行了定量评估。结果显示,体现生物启发感觉组织关键特征的排列方案性能优于其他被测配置。
OmniInteract 提出面向双人形机器人的全身交互控制方法,通过 Surface Contact-Aware Retargeting 利用人机表面稠密对应联合重定向两个人形,保留交互接触界面及其近场几何上下文。
论文提出由人类引导、让编码智能体在代码空间中迭代提出、实现、评估、诊断并改进算法的多智能体路径规划策略搜索工作流,结合仿真反馈与显式正确性验证。
论文提出 InteractAgent,一个多模态大语言模型智能体系统,用于长时程人-场景交互,以闭环方式完成规划、执行、观察与反思,由单个 MLLM 同时担任规划器和评估器,冻结的 MotionLLM 作为执行器。
论文提出一种基于 Denavit-Hartenberg 约定的动态相机-IMU 外参标定方法,通过引入机器人运动学模型实现时变外参的在线估计。配套的两步初始化策略可高效估计初始关节角,为后续外参参数优化提供可靠起点。仿真实验表明,该框架能有效适应相机-IMU 外参变化,同时保持有竞争力的定位精度。
论文提出 FIBER 框架,用冻结行为基础模型(BFM)的可执行隐空间作为异构交互技能的共享规划表示,其隐策略投影(LPP)将独立训练的任务策略映射到该表示,从而实现低频规划并保留 BFM 的高频状态反馈,随后离线训练单一感知流规划器;还提出用多 gamma 前后向学习训练的自适应时域 BFM(AH-BFM)。
FastVLA 提出一种免训练、任务感知且时间自适应的视觉 token 压缩框架,用于提升视觉-语言-动作(VLA)模型的闭环推理效率。它通过任务到视觉的注意力为 token 打分,并依据重要性分布的均匀性(用逆 Simpson 指数和在线滑动窗口校准)自适应设置压缩率。
ForeTac 是一个面向接触密集操作的预测性接触引导框架,采用表示-预测-评估-引导循环,编码当前触觉状态、按候选动作序列预测未来触觉隐轨迹,并用从成功与失败物理交互中学到的接触质量目标评估每条轨迹;推理时该目标的梯度反向传播穿过触觉预测器,在执行前引导动作生成,且所有模型参数保持冻结。
该学位论文用离线训练的神经隐式表示,把 Hamilton-Jacobi(HJ)可达性分析的值函数实时提供给基于优化的控制器,解决未知动态环境中几何碰撞检查不足的问题。
该论文提出一套端到端流程,用安装在标准腹腔镜器械杆上的器械状态记录仪(结合惯性传感器、飞行时间传感器和霍尔传感器,无需外部相机或追踪器)采集外科医生操作时的器械位姿与钳口状态,用于训练手术机器人策略并在活体动物上验证。
论文提出一个概念验证框架,将机器人非线性动力学纳入设计流程,使多步态运动能够从重力、惯性和弹性塑造的非线性共振中涌现。作者介绍高柔顺四足机器人eBert,用新理论工具辨识出六个非线性正规模态(NNM),并在仿真和硬件中验证其存在。通过黑盒优化确定步长,仿真显示每个NNM自然发展为不同步态并呈现不同速度,且大部分可迁移到实机硬件。
该论文提出在分配零空间中通过二次规划在力矩层执行控制障碍函数,将过驱动多旋翼的控制权限保持为前向不变量。在六旋翼与全驱动八旋翼仿真中,300 次随机任务里贪婪最大化方案在权限稀缺任务中最高 51% 违反认证下限,而所提滤波器从未离开认证集,最难的力矩反转场景中力矩误差小 79 倍;鲁棒变体在全部 150 个扰动对象上保持下限。
论文提出 WorldScape Policy 2.0,一种带推理增强长短期记忆的可控世界动作模型(WAM)。其因果短期视觉记忆将近期观测作为 DiT 预填以保留局部交互动态,长期事件记忆则把历史 VLM 输出组织为全局历史、局部活跃与事件边界表示,用于进度感知检索并生成隐式子目标条件。
论文提出模块化方法,在接触密集任务的局部区段自主采集数据并用离线强化学习训练局部策略,再与传统运动规划集成完成长时程装配任务。在四个真实任务中仅用2-2.5小时自主采集数据,长时程任务平均成功率达96%,规划-only基线为55%,最强端到端基线为37%;局部策略还将施加力降低49%。在场景级分布外场景下性能保持在90%,共完成超过1500次真实评测rollout。
PAKE 提出一种全身移动操作控制框架,将问题分解为部分参考运动生成与底层模仿控制,引入在大规模运动生成数据集上训练的 Kinematic Normalizing Flow(KNF)模型生成多样的部分运动参考,高层控制器在 KNF 潜空间中导航以利用冗余解,低层控制器学习动力学一致的动作执行。
论文提出 KITE(Kinematic Interaction Transfer across Embodiments),将操作拆分为与本体无关的交互意图预测和与本体相关的运动学解码,两者通过基于接触模式的交互意图表征连接。