RoboValue:面向机器人价值模型统一评测的细粒度仿真与实机基准
RoboValue 提出一个细粒度的仿真与实机基准,用于统一评测机器人价值模型,通过共享接口评估任务状态理解、时序进展监控、失败与恢复推理、价值一致性四个互补能力维度。
RoboValue 提出一个细粒度的仿真与实机基准,用于统一评测机器人价值模型,通过共享接口评估任务状态理解、时序进展监控、失败与恢复推理、价值一致性四个互补能力维度。
论文系统研究具身智能体物理递归自我改进(RSI)的机制、扩展行为与泛化,提出 PhysRSI-eval,用首次尝试表现、效率、成功率、预算和失败改进五个维度量化物理 RSI,在固定交互预算下评测多个 VLM 在 18 项操作任务上的表现。
研究团队提出 HandsOn,一个可组合的跨本体灵巧操作仿真平台与基准,支持 5 种机械臂、6 种灵巧手和约 200 个刚性、铰接与可变形资产。基准包含 18,000 条人工示教和 66 个人工校验任务,其中 Core-50 用于示教学习与执行测试,Transfer-16 在无目标任务示教的条件下评测资产与关系迁移、技能组合和可变形操作。
AdaExploreBench 提出一个评测基准,用隐藏规则实例化环境动态,要求 LLM 智能体主动获取证据推断规则,并在隐式规则漂移下检测旧知识失效后重新探索。对八个领先 LLM 的实验显示,GPT-6 Sol 校准准确率仅 61.9%;提供充足证据或移除规则漂移可使平均表现提升接近 10%。结果表明智能体能基于有效证据推理,却难以主动获取证据并识别证据何时失效。
研究提出 AnyGoal 基准与开源库,用于评测世界模型在目标偏移任务变体上的组合泛化能力。任务设计保证单个状态因子和动作仍在训练支持范围内,但其组合在专家轨迹中代表性不足。跨多个环境和世界模型家族的实验显示,当前模型在这些重组情形下普遍出现失败,作者进一步分析了动力学与表征层面的失效位置。
论文提出 Stateful Harness 框架,将世界演化与视频渲染分离,用冻结的视频模型渲染事件并回写世界状态,以支持有隐藏状态的规则化交互。作者构建 WorldState-Bench 基准,含 50 组共享初始帧与动作、但隐藏状态和所需结果不同的反事实孪生对。
自变量发布 X2Real 仿真评测基准,用于评估具身模型在真实物理世界中的性能,提出可信性、有效性和客观性三个设计原则。经测试,X2Real 仿真评测与真机评测的任务成功率相关性达 0.96、进度分相关性达 0.99,控制参数标定实现毫米级轨迹一致性,覆盖 Franka、ArtiXon Arm-6A、ARX R5 和 Quanta X1 等本体。
商汤科技、南洋理工大学等机构联合研究团队推出SenseNova-RoboRSI统一Harness,在RoboDojo的42项任务上将GPT-6-Astra的操作成功率从基础配置的15.83%提升到54.17%,模型参数不变。
论文提出RoboCasa-Shift,一个基于RoboCasa365构建的诊断性鲁棒性基准,用于评估视觉-语言-动作(VLA)策略在长时程家庭操作任务中应对分布偏移的表现。
研究团队提出 RoboJudge-Bench,用于评测多模态大模型作为具身视频生成评判者的表现,覆盖物理合理性与指令一致性两个维度,包含来自 8 个源语料和 10 个视频生成器的 800 条人工标注视频。
首尔大学 AIDAS Lab 何在炯教授团队提出机器人基础模型 Dynin-Robotics,将语言、图像、视频与机器人动作统一在一个模型中,通过预测动作后的未来场景图像来生成和筛选动作,论文已被 NeurIPS 2026 接收。
小鹏与北京大学、香港大学、加州大学伯克利分校、普林斯顿大学、新加坡国立大学、清华大学、香港科技大学(广州)的研究者共同提出 4B 感知基座模型 GroundingPI,把点选、框、文字、文档区域和界面控件统一到一套空间词元输出协议,架构采用 MoonViT-V2 视觉编码器和 Qwen3-4B 语言骨干,训练包含监督微调与 GRPO 强化后训练。
新加坡具身智能创企Ropedia联合南洋理工大学、杜克大学、加州大学圣地亚哥分校及清华大学发布跨本体移动操作世界模型Ropedia W0,通过统一动作表示预测人类、机械臂和人形机器人执行动作后的第一视角未来场景。
商汤 SenseNova 团队推出 SenseNova-RoboRSI 统一执行框架与 27B 具身模型 SenseNova-RoboRSI-27B-Preview。
推荐理由:通过同一模型换执行系统的对比数据,读者可以直观理解执行框架对具身任务表现的影响幅度和成本代价。
自变量发布可进化的仿真评测基准X2Real,其仿真评测与真机评测的任务成功率相关性达0.96、进度分相关性达0.99。
推荐理由:给出了仿真与真机评测的相关性数据和统一接入方式,读者可据此判断仿真评测能否替代部分真机测试。
商汤 SenseNova 联合大晓机器人、Ropedia、新加坡南洋理工大学和东京大学发布《Has GPT-6-Astra Achieved Embodied Intelligence?
Strutt 公布了其智能日常代步车 ev¹ 的实验室耐久性与可靠性测试细节。测试在 350 lbs(160 kg)载荷下进行,包括双滚筒耐久测试(200 万转。
大晓机器人发布具身空间感知模型ACE-Brain-0.6,基于Qwen3.5-9B、冻结视觉编码器并监督微调语言模型参数,在八项Grounding评测中六项超越GPT-6 Astra,七项公开基准平均74.53分领先Astra的73.68分,RobotGrounding得94.13分超91.10分。
一支研究团队测试了让编码智能体本身充当闭环机器人策略:智能体接收RGB观测与机器人状态,编写并执行Python控制程序,根据实际结果修改下一个程序,全程没有学习到的运动策略。
元任务实验室的结构化决策模型MetaDecision在JevBench决策模型评测榜进入前三:截至10月17日,在129个开源系统中,其31B版本位列第3,12B版本在同尺寸模型中排名第一。按榜方GPU实测,31B版本单次判断的延迟中位数不到0.2秒(不含网络)。元任务是一家专注Agent Infra与决策模型的AI实验室,提供可嵌入的Agent运行底座以及知识与模型服务。
GroundingPI 是一个 4B 参数的定位基础模型,将点和框以量化坐标形式输出到共享词表,训练结合多模态与空间预训练、监督微调和 GRPO 强化学习。在 34 个定位基准、44 个基线上平均达到 73.68%,高于 GPT-6 Astra 的 71.54%。
GroundAnything 是一个 40 亿参数的视觉定位基础模型,通过块状去噪把并行解码与精确目标定位结合,训练融合公开数据集预训练、自回归到扩散的直接转换、监督微调和基于 GRPO 的强化后训练。
论文提出CorrelationFlow,将LiDAR场景流估计重构为鸟瞰图(BEV)图像间的相关性最大化问题,用一串图像处理操作替代可学习参数。该免训练方法在Argoverse 2 Scene Flow Challenge(CVPR 2026)无监督赛道获得第二名,测试集覆盖五个数据集、多种车辆平台与环境,结果显示其性能可匹配甚至超越基于学习的方法,源代码将开源。
WorldOracle 是一个针对动作条件世界模型(ACWM)的基准,用相同初始观测和低层动作序列,检验预测 rollout 能否复现真实世界的物理后果与任务状态转移。评测覆盖物理状态正确性、交互空间对齐、关键交互区域保真度和多视角动作一致性四个维度,并配套包含成功与失败执行的长多段真实数据。对七个代表性 ACWM 的实验显示出不同模型的优势与失效模式,数据集、评测代码和排行榜已公开。
研究将冻结的前沿视觉-语言模型GPT-6-Astra直接作为机器人策略,在含16项记忆依赖操作任务的RoboMME基准上测试,模型全程保留整个回合上下文并直接输出每个末端执行器路径点与夹爪指令,无需针对该基准的任何训练。
推荐理由:论文给出了冻结前沿VLM直接作策略在记忆依赖操作基准上的完整对照数据,可据此评估通用模型接管多少具身栈。
一项评测在 RoboLab 四个场景中对三个世界-动作模型进行 864 次 rollout,固定初始状态与任务目标,发现用参考物体而非待移动物体描述空间关系,会使稳定放置成功率平均下降 12.2 个百分点。策略语言理解的独立测试识别出关系反转,加入图像会干扰原本正确的纯文本解读。rollout 分析还区分了空间放置与指令跟随:稳定放置率从任意时刻的 43.2% 降至回合结束时的 21.8%。
AnyRank 提出一种多策略排序的序贯方法,自适应地把试验分配给难以区分的策略,并在任意停止时间给出(部分)排序,同时约束错误排序的概率。该方法可选地利用先验信息(如专家直觉、少量留出硬件评估、仿真或动作条件视频世界模型的策略 rollout)提升硬件评估效率,且先验不准确也不会破坏其统计保证。
研究团队提出 DexBioLab,一个面向真实生物实验室环境的灵巧操作仿真基准与框架,包含 4 种机器人本体上的 14 项任务,覆盖功能性工具使用、精细操作、语言条件下的视觉定位与仪器操作。
该研究提出一套用于在公共日常环境中对服务机器人进行基准评测的跨学科流程,针对实验室指标与实际运行之间的差距,在技术成熟度6-7级展开评估。2023-2025三年间通过七次基准评测活动(一次共识研讨会和六次现场评估)对三台机器人在三个用例中进行评估,涵盖户外公园清洁、人行地下通道清洁和公共图书馆互动协助。
论文提出 RoboReel,一个用于评测从人类视频学习策略(Learning from Observation)模型的统一基准,收录十个操作任务的真实人类演示视频、仿真机器人轨迹与评测环境。
论文提出 DriveDegrade,一个针对纯相机端到端(E2E)驾驶的图像退化容忍度基准,在图像加载器中在线注入 16 类 corruption、5 个严重度,用一个算子覆盖 15 个策略,并在 nuScenes 和 NAVSIM 上评测开环规划,附 CARLA 闭环锚点。
WireCraft 是面向工业可变形线状物体(DLO)操作的仿真基准,涵盖连接器插入、卡扣走线和线槽压入三类任务,支持铰接与可变形两种物理模型,发布轨迹同时来自仿真和真实 UR5 机械臂。
SidewalkBench 是一个基于 NVIDIA Isaac Sim 构建的城市人行道视觉导航基准,提供 GPU 加速的高保真人行道环境,包含程序化生成与真实扫描场景,并加入事件驱动的行人反应行为。作者在 330 个单元测试场景、800 个行人反应场景和 105 个长时程场景上评测了 9 个视觉导航模型,发现行人交互与长时程鲁棒性仍是现有模型的关键瓶颈,扩大人行道合成数据训练规模是可行方向。
该研究对视觉-语言-动作(VLA)基础模型的置信度校准展开首次系统研究,建立VLA置信度估计基线,考察任务成功率与校准误差的关系以及校准随时间的变化,并提出提示集成(prompt ensembles)和逐动作Platt缩放两种轻量技术来修正观察到的失准问题。论文共34页、7张表、22张图,已发表于TMLR并完成最终版本。
AWAM(Active World-Action Model)提出一种虚拟主动感知范式,主动规划观察位置并在执行前沿规划轨迹想象将看到的内容,把预测的任务相关虚拟相机运动作为对几何条件世界模型的结构化查询,得到可复用的空间先验,压缩为固定记忆后与实时观测通过交叉注意力融合,用于扩散式动作预测。
论文提出面向视觉-语言-动作(VLA)系统的干预式记忆评测协议(IMEP),用于判断记忆是否真正影响机器人决策,涵盖记忆净收益、起效条件、对任务结果的改变以及效应是否针对任务相关事实四个问题。
LY-GWM-RoboCasa-Human300 结合 Human300 微调的 GR00T-N1.5 动作生成器、动作条件图动力学模型与二元状态奖励评分器,推理时采样 4 个动作块并执行预测状态奖励最高的候选。
NeurIPS 2026 接收的论文 NestedVLA 提出用嵌套超网络按目标任务生成任务自适应的动作专家参数,与冻结的基础 VLA 组合,以参数生成替代参数聚合,缓解多任务训练干扰。
SimpleVLN 是一个保持原生架构的视觉语言导航(VLN)框架,在 R2R-CE 和 RxR-CE 划分上分别取得 76.7% 和 80.1% 的成功率,显著优于现有方法。
论文提出Embodiment-Classifier Guidance,通过训练轻量级本体分类器,在去噪步骤中用分类器梯度引导冻结的π0策略,使其在无需额外示教或参数更新的情况下迁移到新机器人本体。