InteractAgent:基于记忆增强反思的长时程人-场景交互动画智能体
论文提出 InteractAgent,一个多模态大语言模型智能体系统,用于长时程人-场景交互,以闭环方式完成规划、执行、观察与反思,由单个 MLLM 同时担任规划器和评估器,冻结的 MotionLLM 作为执行器。
论文提出 InteractAgent,一个多模态大语言模型智能体系统,用于长时程人-场景交互,以闭环方式完成规划、执行、观察与反思,由单个 MLLM 同时担任规划器和评估器,冻结的 MotionLLM 作为执行器。
论文提出 FIBER 框架,用冻结行为基础模型(BFM)的可执行隐空间作为异构交互技能的共享规划表示,其隐策略投影(LPP)将独立训练的任务策略映射到该表示,从而实现低频规划并保留 BFM 的高频状态反馈,随后离线训练单一感知流规划器;还提出用多 gamma 前后向学习训练的自适应时域 BFM(AH-BFM)。
该论文提出一套端到端流程,用安装在标准腹腔镜器械杆上的器械状态记录仪(结合惯性传感器、飞行时间传感器和霍尔传感器,无需外部相机或追踪器)采集外科医生操作时的器械位姿与钳口状态,用于训练手术机器人策略并在活体动物上验证。
论文提出 WorldScape Policy 2.0,一种带推理增强长短期记忆的可控世界动作模型(WAM)。其因果短期视觉记忆将近期观测作为 DiT 预填以保留局部交互动态,长期事件记忆则把历史 VLM 输出组织为全局历史、局部活跃与事件边界表示,用于进度感知检索并生成隐式子目标条件。
论文提出模块化方法,在接触密集任务的局部区段自主采集数据并用离线强化学习训练局部策略,再与传统运动规划集成完成长时程装配任务。在四个真实任务中仅用2-2.5小时自主采集数据,长时程任务平均成功率达96%,规划-only基线为55%,最强端到端基线为37%;局部策略还将施加力降低49%。在场景级分布外场景下性能保持在90%,共完成超过1500次真实评测rollout。
论文提出 KITE(Kinematic Interaction Transfer across Embodiments),将操作拆分为与本体无关的交互意图预测和与本体相关的运动学解码,两者通过基于接触模式的交互意图表征连接。
DEFLECT 是一个离线后训练框架,把预测与执行之间的时序差异转化为偏好监督,让策略在输入过期的情况下仍能做出对齐执行时状态的动作。
研究者提出一套可解释性流程,用于分析微调后的视觉-语言-动作(VLA)策略内部在计算什么。在 pi0.5 上,把任务 A 的激活注入动作专家、同时让策略观看任务 B 场景,99.6% 的回合(n=1968)会执行任务 A 的运动轨迹,说明注入的程序绑定在绝对工作空间坐标上并忽略可见场景。
推荐理由:研究用激活注入拆解 VLA 策略的内部计算,为理解其扰动脆弱性提供了机制层面的解释。
一项针对腿式机器人深度强化学习的研究提出,用少量专家示范数据中学习到的隐动作作为归纳偏置,帮助关节级力矩控制策略更高效地探索。该先验使智能体不受示范奖励水平限制,显著提升迁移任务表现;结合风格奖励进行模仿后,可更贴近专家行为。相关视频已公开。
论文提出一个模型,可为任意给定骨架同时协同生成视频与3D动作,并生成将该动作配准到场景的相机。该模型将3D动作保留在独立模块中以支持任意骨架,通过少量交叉注意力层与预训练视频模型连接,并利用生成式视频编辑器整理出近200K训练对。评测显示其从文本驱动多样骨架动画比视频优先的流程更忠实,动作会响应周围场景,还支持视频转骨架动作、骨架动作转视频以及基于关键帧的3D动作控制。
arXiv发布一篇12章、388页、64图的专著《Physical AI: Concepts, Techniques, and Challenges》,将物理AI定义为在现实约束下通过持续反馈感知、建模并作用于物理世界的人工系统,并区分其与数字AI、具身AI、信息物理系统和数字孪生。
AdaDex 是一个目标条件强化学习框架,把几秒的人手-物体轨迹(来自动捕数据或野外 RGB(D) 视频的 HOI 重建)转化为可泛化的灵巧技能。其核心 Hybrid Dexterous Mimicking 在两组大规模并行环境中训练共享策略:带稠密动作跟踪目标的环境注入人体先验,带噪声初始状态与目标、稀疏物体成功奖励的环境迫使技能偏离参考轨迹也能工作。
研究团队提出 UniWALM,一个统一世界-动作-语言模型,在单一共享表示中同时学习视频、动作和语言,每种模态既是条件信号也是监督目标。
PhysCanvas 是一个面向接触密集型机器人操作的状态一致视觉触觉世界模型,将多视角 RGB、触觉图像、marker 位移、任务状态与动作统一到同一视觉空间,共享视频 VAE 与预训练生成骨干。
AgenticRoboRL 提出一个跨不同机器人执行机构(harness)后训练机器人规划器的框架,训练配方结合监督微调与多轮强化学习,并通过机构专用适配器把规划器交互记录与任务结果接入统一的 RL 训练管线。
REACT 是一个从人-人演示学习可部署人形机器人-人交互策略的框架,以语义接触结构作为监督信号串联演示处理、交互学习与机载控制。它用 VLM 引导的接触建模与重定向管线识别语义接触并迁移到人形-人几何上,再将特权交互策略蒸馏为完全依赖机载传感的自我中心深度策略,并引入生成式伙伴状态建模目标从遮挡视角预测伙伴运动。
SuperMimic 用一个共享动力学的可微世界模型,在单一训练循环中同时训练世界模型与跟踪策略,通过短想象轨迹上的 backpropagation-through-time 为策略提供解析梯度。
推荐理由:论文给出了用单一可微世界模型替代大规模强化学习训练的具体路径和算力对比数据,可评估其对人形全身控制规模化的影响。
研究提出 GPT-as-Tactile-Policy,将专家演示总结为任务指导与触觉参考,让 GPT-6-Astra 结合多模态观测与交互历史生成控制指令并依据接触反馈调整动作。
Idealworks 与 NVIDIA 在工业移动机器人上系统评测 X-Mobility 与 COMPASS 学习式导航流程的仿真到现实迁移。在数字孪生中结合 Cosmos 生成的 sim-to-real 数据训练后,四个场景的实机成功率从 65.3% 提升到 91.7%,加权行驶时间接近减半,与产线导航栈相差 8.3 个百分点,且全部在机载 Jetson AGX Xavier 上运行。
论文提出 TaskWAM,一个闭环、阶段感知的框架,用 Mode Tokens 表示细粒度任务需求、用 State Tokens 跟踪执行进度,构成结构化任务状态来引导世界-动作模型生成符合当前任务的未来,以解决长程操作中的 Stage Confusion 现象。
该研究提出强化迭代学习控制(RILC),将迭代学习控制(ILC)与强化学习(RL)耦合,用于弹性关节机器人的轨迹跟踪,解决传统 ILC 需对每条新轨迹单独学习、RL 样本复杂度高且跟踪精度有限的问题。
作者提出生成式计划隐变量(GPL),将视觉-语言-动作(VLA)模型的推理状态表示为对计划(如用哪个物体、抓取或路线)的低维条件分布,使计划可在不重新训练 VLA 的情况下被采样、按请求选择并按部署结果重新加权。
论文提出一个两阶段框架,从多视角视频片段中学习互补的预测表征以增强具身操作策略。预训练阶段用冻结的3D基础模型提供稠密几何特征,压缩为预测几何表征并优化以保留场景结构及其时序演化,再对几何转变施加动作监督以提取强调动作相关转变的运动表征;下游后训练阶段通过几何查询迁移预测几何,运动表征引导动作生成路径上的中间特征,未来观测仅作为训练期特权监督,推理时不需要。
论文提出DirectWAM,把预训练的视频与动作专家转化为无需随机采样的单步预测器,同时保留显式的未来到动作级联结构。方法在学完单步动作模型后,通过从自身预测的未来中解码动作并回传演示动作误差来训练未来预测器。
PACT-VLA 提出一种免训练框架,在异步推理中用提交前观测选择最匹配的动作块,其打分函数 FlowRes 衡量候选隐含流方向与冻结策略在该观测下预测速度的残差,无需独立验证器。
研究探讨了期望自由能(EFE)能否决定基于学习世界模型的规划该投入多少计算量,其目标函数结合目标距离与随机预测的分歧。实验发现,精英代价停滞时停止可减少精修且平均成功率接近固定深度参考;冻结模型下奖励分歧会降低成功率,而在线更新能部分恢复训练数据缺失区域造成的损失。代价停滞规则在优化利用模型误差时会失效,预测代价在任务成功率见顶后仍持续下降。
arXiv 论文提出 LocoPilot,一个部署在 12 自由度 Unitree Go2 四足机器人(搭载 6 自由度 AgileX Piper L 机械臂、Intel RealSense D435 腕部相机与 D405 头部相机)上的单操作员双边遥操作与数据采集框架。
论文提出 HuTact 框架,利用大规模人类手物交互(HOI)数据预训练触觉感知的手部表征,预训练阶段无需真实触觉信号,再用少量无标注机器人交互数据做适配。
论文提出 PointHand 遥操作界面,把多指机械手渲染为指尖与关节的稀疏关键点,与策略可观测的关键点一致。在仿真 mug-in-box 任务中,18 名新手与 4 名专家在三种渲染条件下共采集 2,200 次试验,其中看到拇指与食指强调渲染的新手在 600 次试验中获得 441 次成功示教,高于真实手形渲染的 320 次。
论文在 RoboColiseum 上对 GPT-6 Astra、GPT-6.1 Sol、Claude Opus 5.5 和 Gemini 4 Argon 进行跨模型评测,覆盖指令跟随、空间推理、通用操作和鲁棒性四个赛道。
该论文提出一种可摄取同步多相机视角的隐动作模型(LAM),通过交叉注意力解决深度与遮挡问题,再压缩为隐动作并输入由潜在专家与动作专家在冻结VLM骨干上通过序列流匹配耦合的策略。
CoRL 2026 论文提出 Advantage-Weighted Latent Steering(AWLS),一种在不更新解码器的前提下改进冻结的一步式生成操作策略的离线后训练方法。
PLaCA 提出一种世界到动作框架,直接从当前多模态输入预测空间结构化的 patch 级未来隐变量变化,并将其显式接入动作生成。在 LIBERO-Long 上 PLaCA 成功率达 79.0%,较 Action-only 基线提升 5.0 个百分点;在 CALVIN 上平均序列长度从 2.784 提升至 3.564。第二阶段训练仅更新 2.95% 的模型参数。
EchoNav提出一种从短RGB序列预测证据式鸟瞰图(BEV)表示的视觉导航框架,结合时序聚合与占据补全,无需深度或相机位姿输入,也不做显式几何变换。该框架在仿真双目标顺序导航中成功率达89.6%,比最强基线高32.5个百分点;在20个场景的60次轮式机器人试验中成功率为73.3%,基线为33.3%。作者还在四足与人形机器人上做了额外演示。
CoRL 2026 论文提出动作影响最大化(AIM)算法,主动采集训练数据以提升数据集的动作影响,从而改善动作条件视频世界模型的可控性。作者证明数据的动作影响指标上界了任何在该数据上训练的模型所能表达的动作影响,专家演示动作分布狭窄导致该上限偏低。
论文定义了视觉-语言-动作(VLA)模型的故障归因问题,即在多个视觉损坏共存时判断哪些损坏贡献了失败风险、移除它们能带来多大收益。作者提出一种分解式风险模型,分别学习场景与损坏的表征,仅从当前图像和任务指令通过潜变量干预估计移除收益,无需配对干净图像或额外反事实回滚。
EmbodyHOI 在冻结的流匹配手-物交互(HOI)轨迹生成器的采样循环内运行针对特定人形本体的可微逆运动学(IK)求解器,把本体可达性约束放进生成过程,而非事后重定向。
一项研究提出名为 score-decorrelation 的即插即用辅助损失,用于解决线性组合分数的扩散策略在多任务机器人学习中组件预测趋同、难以解释的问题。该损失通过惩罚组件噪声预测之间的重叠来鼓励专门化,几乎不改动架构、计算开销很小。在多个基准上的实验显示,该方法持续降低组件间的重复计数、改善任务分解,并在不影响多任务性能的前提下产生有行为意义的专门化。
作者提出 Embodied Playground,一个用于评估基础模型智能体在长程任务中协调物理、策略与空间推理的基准,包含 410 个任务环境,覆盖基础操作、序列谜题和多阶段家务活动。
DexGraspFlow 提出一种条件化连杆级 SE(3) 流匹配框架,用于跨本体灵巧抓取生成,将几何关系与运动学拓扑结合,用双流 DiT 建模连杆间协调与连杆-物体交互,并以运动学树距离导出的注意力偏置提供显式结构信息。