无传感器力/力矩观测器与混合位姿力控制框架用于物理人机交互
该框架将神经网络增强的鲁棒力旋量观测器与混合位姿力控制器结合,用于物理人机交互(pHRI),无需力/力矩传感器即可实现末端执行器的位姿与力跟踪。神经网络用于补偿系统摩擦与未建模动力学以提升观测器性能,任务零空间分解用于分离关节速度、降低人体扰动对观测器的影响。实验结果表明该框架在保持可靠位姿与力跟踪的同时实现了鲁棒且精确的力旋量估计,可应用于多种无力/力矩传感器的机械臂平台。
该框架将神经网络增强的鲁棒力旋量观测器与混合位姿力控制器结合,用于物理人机交互(pHRI),无需力/力矩传感器即可实现末端执行器的位姿与力跟踪。神经网络用于补偿系统摩擦与未建模动力学以提升观测器性能,任务零空间分解用于分离关节速度、降低人体扰动对观测器的影响。实验结果表明该框架在保持可靠位姿与力跟踪的同时实现了鲁棒且精确的力旋量估计,可应用于多种无力/力矩传感器的机械臂平台。
该框架用元学习训练的神经网络识别主动引导与被动跟随两种人机交互模式,无需手动设定切换阈值,被动模式识别率从90.1%提升至99.1%,主动模式从79.8%提升至97.1%。自适应元学习控制器可补偿人体扰动并在线适应不同交互力,多轨迹元学习算法联合学习环境基表征与力相关参数以处理未建模动力学,实验验证了其鲁棒控制与可靠模式识别性能。
该研究提出一种耦合视觉-运动重映射方法,将全景方位扭曲与其逆向上肢偏航变换配对,用于人形机器人第一人称遥操作,以扩展操作者对侧方和后方目标的可达范围。原型实现了 Global Zoom(GZ)和 Focus+Context(F+C)两种映射模式。
SpatialBrain 是一个在固定视觉-语言骨干上保留空间推理决策经验的框架。3DFusionMemory 将当前场景观测融合为可查询的空间关系,Spatial Skill Library 提供可复用的工具流程,Spatial Cognition 将任务条件与何时及如何使用记忆和技能的经验关联起来;已完成轨迹被抽象为过程记录并在任务块之间巩固。
论文提出 DONIC,一个跨操作类别与人类动作来源联合训练的通用双臂灵巧跟踪器,并发布多视角数据集 BiHOI,含 1,575 段序列、覆盖 229 个物体,强调持续的双臂交互并将重建交互重定向为机器人参考。
论文提出 Memory-Centric Continual Learning(MCCL),主张以记忆能否改善智能体后续行动而非检索事实来评判记忆,包含三轴分类法(按存储位置、形态、管理方式组织记忆)、双循环生命周期、评测协议与记忆扩展框架。
研究提出 AW-0 智能体世界动作模型框架,在统一 mixture-of-transformers 架构中把代码、未来视频和机器人动作建模为三条耦合生成流,由代码专家生成参数化技能例程与控制逻辑,视频与动作专家生成未来视觉状态和低层运动指令。
研究提出预训练视觉状态编码器 ALPS,在一组 patch token 中统一物理状态信息、语言对齐与像素重建三种能力,仅用静态图像和文本从零预训练 ViT-B/16,并通过跨视角自蒸馏进一步优化。
Dual Exam 基准将多模态智能体与世界模型分开评测:智能体轨在固定环境响应机制下比较 10 种配置、覆盖 1,088 个条目和 15 个报告类别,世界模型轨包含 8 个场景的 400 个案例。
Echo 提出一种框架,把停止和失败两种任务状态信号作为每个动作块的两个维度,与机器人动作一起去噪,从而区分执行中、成功完成和失败三种状态。该方法无需帧级进度标注,通过构建成功、失败和恢复轨迹提供互补监督,并让状态信号比动作更快去噪,使后续动作去噪步骤能基于更干净的状态估计。真实操作实验显示,Echo 能准确预测任务状态并持续提升策略性能。
FocusVLA 提出一种阶段感知的多视角路由框架,从历史动作预测未来交互意图,并据此在动作生成过程中动态协调全局与局部视角。在 RoboTwin 2.0 上,其平均成功率比最强基线 π_{0.5} 提升 10.10 个百分点;实机评测成功率从 71.7% 提升到 85.0%。该框架的意图预测与动态路由模块可在不修改核心架构的情况下集成到现有 VLA 框架中。
HiSTEVE 1.0 是一个分层 VLA 智能体,通过能力感知的智能体框架在 Minecraft 中实现长程自主与原生键鼠控制。其编排层用结构化记忆跟踪进度、由 VLM 规划器在 VLA 能力范围内选择子任务,控制层由单个 VLA 以纯视觉感知执行全部子任务。
研究检验预训练 LeWorldModel(LeWM)对小幅动作变化的复现程度,在 Reacher 与 OGBench Cube 近千个状态上,用 Gram 矩阵在三种扰动尺度下测量动作敏感性。
该研究提出一套可解释性流水线,发现向动作专家注入任务A的激活可使pi0.5在99.6%的回合(n=1,968)中执行任务A的运动轨迹,且该注入程序绑定绝对工作空间坐标而忽略可见场景,为基准报告的扰动脆弱性提供了机制解释。
同一新闻,精选展示《研究用激活注入机制解析视觉-语言-动作模型》
ConfigWM 提出可配置感知机制,以任务语言描述作为配置信号,引导视觉嵌入映射到任务特定状态空间,选择性保留任务相关信息并抑制干扰。在干扰逐步增强的环境中,现有方法规划成功率显著下降,而 ConfigWM 保持相对稳定,平均比最强竞争方法高 22.3%。物理量探测(Pearson r +0.365)和干扰到干净检索(+75.5%)也有一致提升。
格里菲斯大学博士生李龙、清华大学交叉信息研究院博士生赵启超与复旦大学、同济大学团队提出 Spotter:让具身模型持续自主执行,轻量级本地模型并行监督,VLM 只在出错时介入纠错,避免机器人每步都等待 VLM 推理。
Slot-JEPA 将 JEPA 的稠密 patch 表征分解为稳定的语义 slot 与随时间变化的空间掩码,提供可复用的对象结构化接口。基于该接口的 Transition Memory Predictor(TMP)将视觉转移存储为紧凑掩码,用 slot 统计量检索上下文,并以非平衡最优传输(UOT)监督掩码预测与评估候选规划。
北京大学团队提出的DragMesh: Interactive 3D Generation Made Easy 被IJCV接收,面向已有3D资产的局部交互,通过一次拖拽恢复目标部件的关节类型、运动轴和关节原点,并生成完整连续的关节运动轨迹,无需针对每个新物体重新训练motion model。
研究提出多智能体世界模型 OverSeer,在智能体第一视角之外加入固定在空间中的辅助相机视角,作为世界中心表征的代理,以提升时间与跨智能体一致性。辅助视角冗余且近似静态,可用只编码相对静态参考图变化的 delta-VAE 高效压缩,减少所需 token 数量。
英伟达发布并开源数据引擎Flora,将原始机器人视频转化为带时间戳动作描述、过程奖励和结果奖励等训练数据,目前已用于训练GR00T系列模型。Flora由动作描述模型、时间分段模型和奖励模型组成,基于Qwen3.5系列视觉语言模型微调,依托512块GB300 GPU每天可标注20万小时数据。
推荐理由:英伟达开源的数据引擎把机器人视频标注成本压到通用大模型的约1/125,并给出多项基准对比,可据此判断数据标注环节的替代空间。
一个机器人项目在仿真中通过进化搜索与AI生成CAD,让机器人迭代设计并测试夹爪等工具以提升任务表现,机器人动作目前仍来自预定义任务控制器。下一步计划用Arctos机器人和3D打印机做实机验证,作者正寻求自动从打印平台取下夹爪手指的建议。
逆矩阵与vLLM、智源研究院、北京大学联合发布的物理AI推理系统PhysisServe,在200张GPU上让33B参数的MiniMax H3每隔4.083毫秒完成一个chunk,约每秒245个chunk,等效帧吞吐接近每秒1000帧,稳态输出间隔短于1.3B参数的Wan2.1。
NVIDIA 研究团队提出 JCA 模型,可为任意给定骨架同时生成视频与可回放的 3D 动作,并输出将动作配准到场景的相机。该模型把 3D 动作保留在独立模型中支持任意骨架,通过少量交叉注意力层连接预训练视频模型,动作模型先用纯动作数据学习骨架运动。
清华系具身智能公司千诀科技在2026物理AI与世界模型大会上发布预测式世界模型Polibrain,主打物理规律学习与跨本体复用,不生成完整未来画面,而是在任务相关潜在表征空间中预测状态变化,形成感知、决策、执行与反馈的闭环。
Urbex 是面向城市尺度三维场景的智能体视觉-语言框架,将依赖预生成候选框的静态排序转为主动空间搜索,通过地标查询、局部放大、倾斜视图三种工具逐步缩小范围,并用 GRPO 强化学习优化工具调用策略。
事实证明,只要把几个重要细节做对,仅用基于优势(advantage)的监督学习来提取策略,就能在强化学习(RL)中取得最先进(state of the art)的结果!
从离线数据估计赋能(empowerment)很有用,因为它为学习各状态到达多样化结果的相对"价值"提供了一个无监督目标。但众所周知,使其可计算非常困难。在我们的新论文中,我们提出了一个可计算的估计器,以及一些应用!
CondenseVLA 提出在 VLA 策略解码端加入可学习的历史压缩模块,用可学习查询和多头交叉注意力将 VLM 主干缓存的逐帧特征蒸馏为固定数量的槽位令牌,并用辅助正则惩罚槽位注意力图重叠、去相关槽位嵌入以减少冗余。
VLA-Rolling 是一个轻量级推理框架,通过动作尾部继承、逐动作置信度估计以及基于再加噪和去噪步数分配的置信度引导精修三个阶段复用动作尾部,底层 VLA 模型保持冻结。
该研究给出了多机器人运动规划问题的首个完全多项式时间近似方案(FPTAS),适用于多边形环境中固定数量k个平移多边形机器人,覆盖min-sum、min-max与min-makespan三种目标。算法可推广到任意固定维度d的多胞体环境与多胞体机器人,并解决了Agarwal等人此前关于k=2单位正方形单位圆盘机器人FPTAS的公开问题,且比已有结果更简单。论文将发表于SODA 2027。
Thinker-WM 是一个统一多模态世界模型,通过共享的 Unified Dynamics Transformer 联合建模并生成 RGB、度量深度和机器人动作,同一套参数支持视频-动作联合生成、世界预测、策略推理、动作条件生成、视频到动作生成和逆动力学等功能。
RoboFake 论文提出用真实人形面部机器人同步口型与表情、配合生成语音构成无像素编辑的新型呈现攻击,并测试了三个公开呈现攻击检测(PAD)模型和六个深度伪造检测器。
TAPDreamer 提出一种仅用公开编码器构造固定局部对抗补丁的攻击方法,无需查询目标策略,可跨任务与动作架构迁移。在闭环评测中,覆盖输入约6.5%的冻结补丁使 FastWAM 在40个 LIBERO 任务上的成功率从97.7%降至0.0%,在50个 RoboTwin 任务上从90.86%降至0.0%,而匹配随机补丁仍保留81.5%和79.2%。
FERPO(Forward Entropy-Regularized Policy Optimization)是一种在线最大熵强化学习算法,通过对critic的值而非动作求导来改进策略,避免价值预测准确但动作导数不可靠导致的策略更新问题。
EMMA框架通过生成数据引擎与训练流程增强视觉-语言-动作(VLA)策略,缓解跨外观机器人操作数据采集成本高的问题。其核心组件DreamTransfer基于扩散Transformer,生成多视角一致且几何合理的操作视频,支持对前景、背景和光照做文本驱动编辑并保持三维结构。
Gibson Virtual Environment 通过虚拟化真实空间为具身智能体提供感知训练环境,目前包含来自 572 栋完整建筑的 1400 多个楼层空间。其内置的 "Goggles" 合成机制可让训练后的模型直接部署到真实世界,无需额外的域适应。该环境使智能体受物理与空间约束,论文展示了在其中学习的样例感知任务,代码、数据集与项目网站已开放。
Taskonomy 提出一种完全计算化的方法,对 26 个 2D、2.5D、3D 与语义视觉任务在隐空间中建模,挖掘一阶及高阶迁移学习依赖关系,生成任务迁移分类图谱。
论文提出 PhysWord,一个先推理后动作的机器人基础模型,用原子动作词作为共享语义锚点,将连续物理动态表示与语言对齐。PhysWord 预测后续原子动作词,并将其上下文隐状态与未来观测导出的隐式目标对齐,构建带视觉和可选触觉变体的时序结构化 PhysWord 空间。
研究者开发了一种分层仿生机器人皮肤,将受体模拟传感器嵌入柔性软介质中,以模拟人类皮肤组织的关键结构特征。利用该平台,研究实现了生物启发和反事实两种感觉器排列方案,并在弱接触检测、两点辨别和纹理识别三项被动触觉任务中进行了定量评估。结果显示,体现生物启发感觉组织关键特征的排列方案性能优于其他被测配置。
OmniInteract 提出面向双人形机器人的全身交互控制方法,通过 Surface Contact-Aware Retargeting 利用人机表面稠密对应联合重定向两个人形,保留交互接触界面及其近场几何上下文。