JevVLA:受Jev启发的VLA策略能量式适配框架
研究者提出JevVLA,一种面向视觉-语言-动作(VLA)策略的轻量能量式适配框架,在冻结基座策略的情况下学习一个可微标量能量函数,同时用于离散候选比较和连续动作修正或生成。
研究者提出JevVLA,一种面向视觉-语言-动作(VLA)策略的轻量能量式适配框架,在冻结基座策略的情况下学习一个可微标量能量函数,同时用于离散候选比较和连续动作修正或生成。
LECO 将动态目标跟踪的在线轨迹优化转为离线学习直接控制策略,通过可微运动学模型让轨迹级目标直接指导控制学习。在三种仿真障碍密度下,其均方根线性加加速度比该指标最优对比方法降低 14.1%–31.2%,跟踪成功率最高,单周期计算耗时 4.25–5.63 ms。
MMGNet提出多模态抓取合成网络,通过分层图像到3D特征注入和旋转抓取度建模,把多尺度图像特征融入3D表示并联合预测抓取接近方向与平面内旋转。在GraspNet-1Billion上使用RealSense数据取得60.34的平均AP,超过所有对比方法;在对抗性抓取物体的实机实验中,抓取成功率比AnyGrasp高8.46个百分点。消融实验显示两个模块带来互补增益,代码、模型和数据将在论文发表后放出。
该论文提出一种扰动分离的模型预测控制(MPC)方案,用于机载光电吊舱在载机振动、输入延迟和执行器约束下的受限指向控制。方案用自适应周期观测器结合线性回归频率估计预测多谐波振动,用线性观测器和有界LSTM网络估计非周期扰动及其在输入延迟内的变化,并将周期预测嵌入MPC模型、把非周期补偿放在优化器之外。
该论文在高速驾驶和物体交接两个场景中,用常见生成模型指标评估多类人类行为模型,并与用这些模型训练出的强化学习策略的下游表现对比。结果显示,现有行为评估指标无法稳定预测下游策略性能,且评估结果对轨迹表示方式敏感;即使已知真实测试行为分布,用不同分布训练也可能获得更好的下游表现。
SceneAgent 是一条智能体流水线,通过基于仿真器的视觉检查与修复,把3D Gaussian Splatting、摄影测量、LiDAR 采集、AI 生成的 3DGS 场景和 4D 动态视频转换为可交互仿真环境,流程涵盖物体分割、物理参数估计、部件分解、关节与可变形仿真。
VLA-HWBench 在 NVIDIA Jetson AGX Thor 和 AMD Ryzen AI Max+ PRO 395 上对 18 个开源 VLA 模型做七阶段推理拆解,发现动作生成策略比模型规模更决定延迟,参数规模最多解释 15% 的延迟方差。
作者提出OSMA-Bench基准,用仅障碍物类型不同的空间匹配场景集,检验机器人导航是否按障碍物语义调整间距与速度,并提出语义敏感度指数SSI衡量这种适配。在基准上评测VLM与视觉-语言-动作(VLA)策略发现,即使给出明确安全提示,两者也未能稳定地按障碍物安全等级调整运动。
作者提出 Dream2Assist,一个基于模型的强化学习框架,把意图推断加入循环状态空间世界模型,使辅助策略能预判并支持人类离散目标而不取代人的控制权。研究还给出从世界模型策略到安全人机系统的完整部署流程,通过策略筛选与奖励重构应对仿真到真实人类的差距,并在高速竞速(N=30)和城市驾驶(N=10)两项人类被试研究与初步实车部署中验证,意图条件化在扭矩对齐和碰撞率上有可测改善。
作者提出 RobotAgentBench(RAB),一个面向真实开放世界家庭环境的机器人智能体评测基准,通过智能体辅助、人在回路的真实到仿真流程构建 50 种家庭布局,包含 90 个原子任务、18 个短时程任务、8 个长时程任务和 4 个开放式场景。
研究在FastWAM和OpenWAM中做受控的未来视频预测损失消融,在已见任务的干净条件下成功率分别提升24.38和72.91个百分点。轨迹聚类显示部分粗粒度轨迹簇内成功率提高,但簇频率变化不大,说明收益不只来自轨迹模式分布变化。
针对四旋翼轨迹跟踪中短时分布外残差会污染学习扰动模型的问题,DGC 在保留随机傅里叶特征模型、离线 BPTT 策略与最小二乘自适应(DAPL)的基础上改进在线更新步长,通过对比长短期梯度记忆判别自适应状态并用置信图抑制不可靠更新。
研究提出一个融合语音、视觉与触觉的多模态框架,用于生成符合语境的机器人语音与动作。团队在虚拟现实中用18名参与者测试五种社交互动场景,并与人工遥操作基线对比:自主系统在自然度和社交适当性上均高于中性中点,但遥操作基线两项评分显著更高。行为编码与反馈显示,对话时机、澄清模糊请求和空间协调是造成差距的关键因素。
TRIAGE 提出一种免训练的视觉 token 加速方法,按 token 漂移阈值决定复用缓存 KV 还是剪枝,并固定重算预算以直接控制预填充延迟。
ARPG 提出将动作表征学习与动作生成分离:先在大规模人类操作数据上预训练动作表征编码器,再冻结该编码器,并在其表征空间中训练一个 130M 参数的生成主干来学习任务条件动作分布。
AuRA 是一套自动化机器人交互与数据准备系统,用于数字孪生重建,结合执行感知抓取选择、由机器人状态推导的夹爪运动测量以及配准的交互前几何与外观先验。在 13 个可变形物体上,每个成功重建资产的人工投入和实际采集时间分别减少 88.5% 和 55.4%;相比人工采集的 PhysTwin 基线,在已知夹爪运动下的未来预测中,9 项指标有 7 项提升,单向 L1 Chamfer 距离降低 28.1%。
作者提出 ThinkLocoManip,一个面向足式移动操作的全身体控制智能体框架,采用推理与执行交替的范式处理大规模环境中的长程任务。该框架把感知、导航、操作和移动编排为可组合的工具,并设计跨域协调技能与关键帧思考机制以支持错误恢复。实机实验中其成功率为77%,超过最强 plan-then-act 基线37.1%的两倍。
研究团队提出RynnVLA-Latent框架,通过RynnLAM从视觉变化中学习连续、3D接地的潜在动作,无需原生机器人控制信号,将30.1K小时人类、机器人和仿真视频转为745.52M条潜在动作描述用于策略预训练。
推荐理由:该研究用3D接地的潜在动作把异构交互视频转成预训练监督,为VLA模型绕开动作标注稀缺提供了一条可复用的路径。
作者提出 ScheNav 闭环导航框架,把粗略草图引导转化为探索与停止决策,核心是融合引导与累积观测、预测空间价值场的学习模块 SchemaField。配套数据流程把 2D 平面图转成导航训练环境,产出 Furnished-RPLAN 数据集,包含超过 33k 个带家具布局及配对导航回合和噪声可控草图。
AdaPolicy 提出一种动作驱动的前瞻策略框架,通过级联的下一动作块预测塑造未来感知表征,训练时无需编码未来观测,推理阶段零额外开销。方法在 MetaWorld、RoboTwin 2.0、LIBERO 和真实部署中取得一致提升,在耳机装配、穿鞋带等毫米级精度任务上最高提升 14 个百分点。
HuGe 是一组人形通用视觉-语言-动作模型(VLA),在超过 2000 小时的第一视角人类与机器人数据上预训练,通过预测潜在运动 token 驱动预训练全身控制器并输出手部控制信号。
作者提出PS-DLO,一种结合物体属性与空间感知的可变形线性物体(DLO)操作策略,通过对比图文学习将初始观测映射为DLO属性的类别描述,并用SAM3从未来观测中提取掩码引导特征、蒸馏进动作专家。在单臂与双臂平台的九个真实任务上,PS-DLO平均成功率为68.9%,比最强基线高20.0个百分点;在蝴蝶结解结的七种视觉偏移条件中,有六种成功率高于基线。
该论文提出一种闭环腹腔镜自主控制框架,将实时手术阶段识别与相机运动补偿的视觉感知耦合,利用手术实体间的阶段依赖关系改善遮挡和实体重叠下的目标状态估计。在基准数据集上评估了手术阶段识别与目标跟踪,体模实验显示相比固定视野控制,目标可见度和任务执行表现有所提升。论文投稿 IEEE Robotics and Automation Letters(RA-L)。
研究提出 HumanoidNDM,一个由实机训练的神经动力学模型驱动的人形运动跟踪在线微调框架,用于缩小训练与部署之间的动力学差距。方法包括带自适应强度机制的低频参考扰动数据采集、在欧氏空间结合可微前向运动学训练基于本体感知历史的动力学模型,以及通过模型梯度回传直接微调策略。
RoboDuo 提出一种闭环双系统框架,以代码作为编码智能体与两个 VLA 之间的接口:编码智能体编写程序,让全任务 VLA 尝试完成整个任务并检查是否完成,失败时由原子 VLA 补齐剩余步骤。
X-World 提出一种框架,通过固定长度 token 序列把视频先验迁移到共享动作专家,并用残差跨视角注意力把预训练视频骨干扩展到一、二或三视角。该策略在 LIBERO 上达到 98.5% 平均成功率,LIBERO 训练检查点在 LIBERO-Plus 上无需额外适配取得 76.5%;在六项双臂真实任务中,每项 20 次试验的平均成功率为 81.7%。
作者提出双流门控网络 DSGN,将监控与围捕拆分为独立表征流,并通过上下文感知门控机制协调两者,以缓解大规模机器人网络中的任务切换困难。该方法还引入概率先验正则化门控过程,减少模糊的中间决策。在恒定密度的跨规模设置下,DSGN 保持任务效果与可扩展性,消融与分阶段实验显示动态门控和概率先验支持任务仲裁与模式切换;论文已被 RA-L 2026 年 10 月接收,代码已公开。
研究提出一种仅用 LiDAR 的实时框架,从无标注演示中学习交互感知的路径修正:用匀速外推生成残差学习目标,由 GNN 建模机器人、行人与目标上下文之间的关系,部署时用扩展卡尔曼滤波跟踪 LiDAR 检测构建动态图,并通过与规划器无关的接口偏移规划器生成的路径点。
针对瓦片比例与表面图案空间相关性随时间变化的动态环境,研究将轻量级变化检测机制集成进贝叶斯群体决策框架,在检测到分布偏移时重置机器人信念。该检测器仅需常数内存与常数级单样本计算,不同于两种需存储完整样本流的近期方法,适合内存受限机器人。Webots仿真显示变化检测延迟具竞争力、不同通信设置下精度更一致,且空间相关性变化时决策准确率提升。
论文提出 Extended LASMP,把导航指令直接纳入采样分布,以提升四旋翼在三维环境中采样式运动规划的探索效率。方法将子集采样推广到与指令对齐的区域,并用基于提示的大语言模型把自然语言指令解析为偏航条件与高度感知的几何约束。复杂环境仿真显示,该方法能生成无碰撞且一致的轨迹,相比均匀 RRT 类规划器显著减少采样量。
研究团队提出 BEHAVIOR-Spatial 基准,基于 BEHAVIOR-1K 构建,包含 49 个活动中的 3256 道空间问题、14 个操作任务中的 1240 条定位查询,以及覆盖 14 个操作任务和 10 个导航任务的动作评测。
ElevateHead 提出一种动作头,在学到的决策点一次性选定任务执行方式并在整个回合内保持不变,用户也可将该选择作为输入设定。在留出的 Franka Kitchen 任务上,它完整完成四个子任务的回合比例为 45.2%,BeT 为 29.3%(+0.160,95% CI [+0.129, +0.188]);在留出的积木堆叠任务上,版本 4 与 BeT 相当但未超过。
作者提出一个任务与运动规划(TAMP)框架,把任务导向的交互式信息获取与规划执行交替进行,基于PDDLStream乐观规划交互动作,并在执行中验证结果、保留仍可用的动作、只重规划后续连接。该框架在仿真和真实机器人上测试了判断物体是否可移动、笔是否有墨水、抽屉能否打开、容器是否为空等任务,显示交互驱动的状态更新与恢复重规划能支持不确定结果和外部扰动下的持续执行。
研究在双通信循环控制器的仿真肌肉骨骼系统中,用 2×2 设计比较差异化与共享控制器目标、固定与均衡手-任务分配对双臂控制的影响。差异化目标配合与对侧控制路由一致的固定分配时功能专门化最强,双臂成功率达 81.33%,控制效率也最高。该优势随运动噪声增大而扩大、在更强能量惩罚下收窄;差异化-固定训练下互换双手角色使成功率下降 80.46 个百分点,共享-均衡训练下仅下降 1.51 个百分点。
作者提出 TrajMamba,一种基于 RGB-D 相机、用于移动机器人短期人体轨迹预测的轻量双向状态空间模型,训练与部署共用同一条处理路径,以对齐人体姿态提取、深度反投影和平滑过程。
RoboLongR 提出离线到在线的奖励学习框架,通过因果一致性让奖励进度与执行历史支持的前置条件对齐,引导策略从行为克隆过渡到在线强化学习。该方法在 88 个 RLBench 任务和 Open-X 数据上预训练,在未参与奖励预训练的 18 个长程任务上平均成功率为 31.8%,比最强对比基线高 9.2 个百分点;在四个真实机器人任务上成功率为 57.5%,比对比方法高 32.5 个百分点。
AdaDexTrack 提出一种调制器在环框架,用于语言条件下的灵巧操作跟踪,通过参考调制、物体隐变量调制和位置目标调制三类反馈修正,缓解合成参考噪声、人到手重定向的本体偏差和固定参考跟踪的误差累积。
作者提出 RoboWorM,一个面向机器人操作视频世界模型的部署感知评测基准,基于机器人运动学树和固定相机配置等硬件先验考察结构与时空保真度。该基准汇集单臂、双臂和人形形态的 1,605 条片段,覆盖马尔可夫与长程非马尔可夫任务及单视角、多视角设置,并提出 KIVA 与 RIGIS 两个不依赖视觉语言模型的确定性指标。
研究提出 Scan2Instruction 与 PRPT-KS,用一次 iPhone 扫描构建训练环境并自适应语言引导导航策略,无需人工演示。在五个真实环境中,RealNav 实机成功率达 85%,而用人类演示后训练的基线为 49%;在同一建筑未扫描区域仍达 82%,基线为 41%。
RoboReason 提出用真实机器人立体相机与腕部相机图像构造空间与时间排序任务,评估视觉语言模型的机器人相关推理能力,实验显示多个先进 VLM 在排序任务上表现不佳。作者据此提出可扩展的自主训练数据生成流程,监督微调与强化学习在该数据上均显著提升模型在时空排序及下游机器人与视觉推理任务上的表现。该工作被 EMNLP 2026 主会接收。