Labference:评估机器人实验室中推理与动作衔接的基准
作者提出 Labference 基准,用于评估机器人如何根据实际物理执行结果调整后续操作,并分别测量操作选择、物理执行和任务完成情况。初步评测显示,受测 VLA 策略在物体转移成功的情况下仍出现目标选择错误,而 GPT 驱动的控制虽能正确选择,却遇到执行失败和较高计算开销。
作者提出 Labference 基准,用于评估机器人如何根据实际物理执行结果调整后续操作,并分别测量操作选择、物理执行和任务完成情况。初步评测显示,受测 VLA 策略在物体转移成功的情况下仍出现目标选择错误,而 GPT 驱动的控制虽能正确选择,却遇到执行失败和较高计算开销。
作者提出 Thermal-Headroom Routing(THR),一种用闭式 RC 热模型预测处理器温度、排除预计越过降频阈值的检测器配置的轻量模型选择策略。
RetroNav 是一个无需训练的终身导航框架,把导航、记忆积累与失败反思整合在一起,在五个导航基准上取得当前最优表现。它用统一记忆系统把几何与语义场景知识和历史导航经验关联起来,区分客观观察与依赖任务的解读;每次导航后由独立评估器判断是否需要重试,需要时由回溯智能体结合场景证据生成重试简报。作者表示方法将开源。
该研究在含转子陀螺耦合、电机滞后与饱和的非线性被控对象上对比级联PID、悬停LQR、BL-SMC、带LQR回退的线性MPC(LMPC-F)、启用预览的LMPC-F和几何SO(3)控制器,发现统一的十二候选调参协议改变了固定基线下的平均RMSE排序,使BL-SMC从末位升至首位,且该排序在50组新实现上重现、48候选预算下不变。
论文提出语义失效分析是可变形物体灵巧操作走向成熟的关键一步,并用概念验证实验支持这一主张。与刚体操作不同,线缆、塑料件、布料等会因材料、几何和行为差异出现屈曲、塑性变形、压力变化和撕裂等多样且难以检测的失效模式,需要不同的纠正策略。作者定义了语义失效分析的组成部分与挑战,并给出实验结果说明其作为研究方向的潜力。
Zero-HLM 提出 real-to-sim-to-real 框架,将手机拍摄与仿真源演示转化为人形移动操作的可扩展训练数据。研究生成 4800 条经物理验证的演示,在 Unitree G1 的三项任务上实现零样本迁移;仿真训练的 GR00T N1.7 平均全任务成功率为 66.7%,而真实数据训练为 46.7%。
PushAround 提出一种物理信息混合搜索方法,将几何连通性推理与短时仿真结合,为移动机器人团队生成可执行的清障计划。该方法通过重复的 W-clearance 连通图(WCCG)查询找出需要拓宽的前沿缺口,并按估计的下游代价排序,再生成直接或递归推障候选,选择障碍物、方向、接触与力。
该研究提出用因子图对柔性线缆(DLO)进行概率建模,在重建线缆形状的同时估计作用其上的三维力的大小、方向与位置。由于线缆细且无驱动,应变片和驱动读数通常不适用,方法仅使用一种传感信息,并在加入测量噪声、线缆沿指定路径运动的仿真测试中完成力估计。作者称该通用方法可适用于更广泛的任务。
VISTA 是一个元智能体框架,把事后回放反思改为主动自我探索,以改进具身智能体的 harness。它维护记录 harness 版本谱系的 harness graph,让元智能体检索历史假设、复用有效机制并避免重复失败方向;每轮从保留版本及其执行证据出发,自主生成新 rollout、探查失败与恢复行为,再据此迭代修改 harness 并重新评估。
研究提出两阶段吸引域(RoA)认证流程,用基于收缩的稳定性分析确定目标集,再用 Taylor 模型可达性分析验证,从而在运行时构建上下文相关的安全 RoA,并支持高保障控制器候选间的安全切换。
研究者提出JevVLA,一种面向视觉-语言-动作(VLA)策略的轻量能量式适配框架,在冻结基座策略的情况下学习一个可微标量能量函数,同时用于离散候选比较和连续动作修正或生成。
LECO 将动态目标跟踪的在线轨迹优化转为离线学习直接控制策略,通过可微运动学模型让轨迹级目标直接指导控制学习。在三种仿真障碍密度下,其均方根线性加加速度比该指标最优对比方法降低 14.1%–31.2%,跟踪成功率最高,单周期计算耗时 4.25–5.63 ms。
论文研究两轴电流指令万向架在机械扰动不匹配条件下的视线指向控制,提出分位数扰动预测器与受 tube 启发的模型预测控制器,按预测不确定性预留命令余量。在两轴嵌入式平台上,所提配置的二维指向均方根误差为 3.94 ± 0.10 mrad,评估窗口内无命令限幅样本,并单独报告了 100 Hz 标称实现下的求解时间与循环超时记录。
MMGNet提出多模态抓取合成网络,通过分层图像到3D特征注入和旋转抓取度建模,把多尺度图像特征融入3D表示并联合预测抓取接近方向与平面内旋转。在GraspNet-1Billion上使用RealSense数据取得60.34的平均AP,超过所有对比方法;在对抗性抓取物体的实机实验中,抓取成功率比AnyGrasp高8.46个百分点。消融实验显示两个模块带来互补增益,代码、模型和数据将在论文发表后放出。
该论文提出一种不确定性感知控制屏障函数(CBF)框架,用Fisher信息矩阵近似多跳定位链上的级联协方差,用于GNSS拒止海上环境中的无人机集群搜索。框架将协方差模型及其变化率纳入连通性维持与避碰的约束裕度,并配合分层Voronoi目标策略与编队保持实现前向覆盖。
该论文提出一种扰动分离的模型预测控制(MPC)方案,用于机载光电吊舱在载机振动、输入延迟和执行器约束下的受限指向控制。方案用自适应周期观测器结合线性回归频率估计预测多谐波振动,用线性观测器和有界LSTM网络估计非周期扰动及其在输入延迟内的变化,并将周期预测嵌入MPC模型、把非周期补偿放在优化器之外。
该论文在高速驾驶和物体交接两个场景中,用常见生成模型指标评估多类人类行为模型,并与用这些模型训练出的强化学习策略的下游表现对比。结果显示,现有行为评估指标无法稳定预测下游策略性能,且评估结果对轨迹表示方式敏感;即使已知真实测试行为分布,用不同分布训练也可能获得更好的下游表现。
作者提出 ISB-NMPC,将球面方位预测与四旋翼非线性动力学耦合,联合优化接近目标的运动与目标可见性。在 30 组配对仿真试验中,该方法的拦截成功率为 86.7%,在参与对比的控制器中最高,单次试验平均目标可见时间占比为 99.11%。室外飞行中,拦截器在约 150 m 处捕获 30 cm 目标,远距离飞行速度达 17 m/s,追踪四旋翼拖曳的机动目标时约 14 m/s,软件与硬件均已开源。
SceneAgent 是一条智能体流水线,通过基于仿真器的视觉检查与修复,把3D Gaussian Splatting、摄影测量、LiDAR 采集、AI 生成的 3DGS 场景和 4D 动态视频转换为可交互仿真环境,流程涵盖物体分割、物理参数估计、部件分解、关节与可变形仿真。
这篇35页综述把网络化人形机器人智能按信息交换分为通信、协调、协作与人类社交交互四类功能,并从交互架构、交换信息、物理耦合、时间尺度、系统规模和本体六个维度梳理文献。
VLA-HWBench 在 NVIDIA Jetson AGX Thor 和 AMD Ryzen AI Max+ PRO 395 上对 18 个开源 VLA 模型做七阶段推理拆解,发现动作生成策略比模型规模更决定延迟,参数规模最多解释 15% 的延迟方差。
一项离散事件仿真研究对比了两种已实施的通道内机器人拣选配置:无车载周转箱提升机构时用两台层级受限穿梭车服务两个测试层级,有提升机构时一台穿梭车留在水平层、由车载机构将订单周转箱移至相邻上层完成拣选。
作者提出OSMA-Bench基准,用仅障碍物类型不同的空间匹配场景集,检验机器人导航是否按障碍物语义调整间距与速度,并提出语义敏感度指数SSI衡量这种适配。在基准上评测VLM与视觉-语言-动作(VLA)策略发现,即使给出明确安全提示,两者也未能稳定地按障碍物安全等级调整运动。
作者提出 Dream2Assist,一个基于模型的强化学习框架,把意图推断加入循环状态空间世界模型,使辅助策略能预判并支持人类离散目标而不取代人的控制权。研究还给出从世界模型策略到安全人机系统的完整部署流程,通过策略筛选与奖励重构应对仿真到真实人类的差距,并在高速竞速(N=30)和城市驾驶(N=10)两项人类被试研究与初步实车部署中验证,意图条件化在扭矩对齐和碰撞率上有可测改善。
作者提出 RobotAgentBench(RAB),一个面向真实开放世界家庭环境的机器人智能体评测基准,通过智能体辅助、人在回路的真实到仿真流程构建 50 种家庭布局,包含 90 个原子任务、18 个短时程任务、8 个长时程任务和 4 个开放式场景。
研究在FastWAM和OpenWAM中做受控的未来视频预测损失消融,在已见任务的干净条件下成功率分别提升24.38和72.91个百分点。轨迹聚类显示部分粗粒度轨迹簇内成功率提高,但簇频率变化不大,说明收益不只来自轨迹模式分布变化。
研究者借鉴二战“德国坦克问题”的序列号估计方法,把机器人化学传感器读数当作观测样本,用运行最大值和样本计数无偏估计气味羽流峰值浓度,从而判断气味源位置。该方法给出精确置信界,可让机器人或无人机据此决定继续搜索还是降落,并作为嗅觉导航的终止判据。论文推导了估计器与置信界,演示了样本效率,并考察了假设失效时的鲁棒性。
针对四旋翼轨迹跟踪中短时分布外残差会污染学习扰动模型的问题,DGC 在保留随机傅里叶特征模型、离线 BPTT 策略与最小二乘自适应(DAPL)的基础上改进在线更新步长,通过对比长短期梯度记忆判别自适应状态并用置信图抑制不可靠更新。
研究提出一个融合语音、视觉与触觉的多模态框架,用于生成符合语境的机器人语音与动作。团队在虚拟现实中用18名参与者测试五种社交互动场景,并与人工遥操作基线对比:自主系统在自然度和社交适当性上均高于中性中点,但遥操作基线两项评分显著更高。行为编码与反馈显示,对话时机、澄清模糊请求和空间协调是造成差距的关键因素。
作者提出 PhysLadder,一个用于评估接触密集操作物理交互能力的分层仿真-实机基准,包含 16 项家务任务,分为接触选择与几何对齐(L1)、持续接触下的力调节(L2)、接触重构与力调节协同(L3)三个累积层级。
TRIAGE 提出一种免训练的视觉 token 加速方法,按 token 漂移阈值决定复用缓存 KV 还是剪枝,并固定重算预算以直接控制预填充延迟。
ARPG 提出将动作表征学习与动作生成分离:先在大规模人类操作数据上预训练动作表征编码器,再冻结该编码器,并在其表征空间中训练一个 130M 参数的生成主干来学习任务条件动作分布。
AuRA 是一套自动化机器人交互与数据准备系统,用于数字孪生重建,结合执行感知抓取选择、由机器人状态推导的夹爪运动测量以及配准的交互前几何与外观先验。在 13 个可变形物体上,每个成功重建资产的人工投入和实际采集时间分别减少 88.5% 和 55.4%;相比人工采集的 PhysTwin 基线,在已知夹爪运动下的未来预测中,9 项指标有 7 项提升,单向 L1 Chamfer 距离降低 28.1%。
该技术报告提出一种用于定位和跟踪威胁海上数据中心的窄带对抗声源的声学监测框架,针对窄带发射与稀疏传感器下TDOA测量混叠、解空间模糊的问题,引入移动接收器与选定固定接收器临时组成锚点对以约束可行解空间。两阶段流程先用锚点约束估计声源初始位置,再初始化粒子滤波联合跟踪声源位置与速度。蒙特卡洛仿真中定位成功率为91%,10次开放水域现场试验中有9次跟踪误差低于2米。
作者提出 ThinkLocoManip,一个面向足式移动操作的全身体控制智能体框架,采用推理与执行交替的范式处理大规模环境中的长程任务。该框架把感知、导航、操作和移动编排为可组合的工具,并设计跨域协调技能与关键帧思考机制以支持错误恢复。实机实验中其成功率为77%,超过最强 plan-then-act 基线37.1%的两倍。
研究团队提出RynnVLA-Latent框架,通过RynnLAM从视觉变化中学习连续、3D接地的潜在动作,无需原生机器人控制信号,将30.1K小时人类、机器人和仿真视频转为745.52M条潜在动作描述用于策略预训练。
推荐理由:该研究用3D接地的潜在动作把异构交互视频转成预训练监督,为VLA模型绕开动作标注稀缺提供了一条可复用的路径。
作者提出 ScheNav 闭环导航框架,把粗略草图引导转化为探索与停止决策,核心是融合引导与累积观测、预测空间价值场的学习模块 SchemaField。配套数据流程把 2D 平面图转成导航训练环境,产出 Furnished-RPLAN 数据集,包含超过 33k 个带家具布局及配对导航回合和噪声可控草图。
AdaPolicy 提出一种动作驱动的前瞻策略框架,通过级联的下一动作块预测塑造未来感知表征,训练时无需编码未来观测,推理阶段零额外开销。方法在 MetaWorld、RoboTwin 2.0、LIBERO 和真实部署中取得一致提升,在耳机装配、穿鞋带等毫米级精度任务上最高提升 14 个百分点。
HuGe 是一组人形通用视觉-语言-动作模型(VLA),在超过 2000 小时的第一视角人类与机器人数据上预训练,通过预测潜在运动 token 驱动预训练全身控制器并输出手部控制信号。
作者提出PS-DLO,一种结合物体属性与空间感知的可变形线性物体(DLO)操作策略,通过对比图文学习将初始观测映射为DLO属性的类别描述,并用SAM3从未来观测中提取掩码引导特征、蒸馏进动作专家。在单臂与双臂平台的九个真实任务上,PS-DLO平均成功率为68.9%,比最强基线高20.0个百分点;在蝴蝶结解结的七种视觉偏移条件中,有六种成功率高于基线。