跳到正文

内容形态

评测基准 最新动态

既有模型、机器人或系统的测试成绩、对比实测、复现、排行榜变化与评测方法争议。提出新研究方法或新基准设计归论文研究,宣传演示不自动算评测。

7 条精选近 30 天 1 条共收录 12 条

更新

评测基准的精选

10月12日周一第 1–7 条
  1. Shanghai AI Laboratory - Embodied Intelligence73

    上海AI实验室推出决策模型书生·明决,性能超Jev并开放0.8B、2B、4B三档权重

    上海人工智能实验室推出决策模型书生·明决(Decision),性能超越Jev,提供0.8B、2B、4B三档参数版本。RTX 4090实测中0.8B和2B模型平均端到端时延约33毫秒、每秒约30次决策,4B模型为44.16毫秒,Jev为109.70毫秒。

    推荐理由:原文给出了实测时延、基准得分和大小模型分流机制,读者可据此判断该决策模型在交互场景的适用性。

8月14日周五
  1. PKU EPIC Lab66

    PKU EPIC Lab 发布 HumanTracker 人形运动跟踪基准与 HumanScore 指标

    PKU EPIC Lab 提出HumanTracker基准,用于人形运动跟踪的评估,被ECCV 2026接收。基准包含约153小时来自多名专业演员的光学运动轨迹,分为四个运动族并带文本标签;配套的HumanScore指标基于包含24K动作的12K运动对训练,与人类偏好对齐,能揭示运动学指标常漏掉的接触与稳定性失败,如脚滑和落地时机错误。

    推荐理由:原文提出将人形运动跟踪评估与人的感知对齐的基准和指标,指出现有运动学误差会漏掉足底滑移等接触问题。

7月17日周五
  1. Sunday Robotics78

    Sunday Robotics 预览 ACT-2 模型,叠衣零样本成功率 99.1%

    Sunday Robotics 预览机器人模型 ACT-2,在多样未见家庭环境中以零逐户适配实现叠衣 99.1%(±0.3%)零样本成功率,785 次自主尝试覆盖 9 类衣物,完成折叠平均质量 4.72/5。

    推荐理由:官方详细披露预训练规模与泛化差距的量化数据,读者可据此了解少量示教数据如何迁移到未见环境。

7月2日周四
  1. X Square Robot/自变量机器人67

    自变量机器人发布跨模态具身动作分词器X-Tokenizer,多模态对齐提升13.5%、长程任务提升8.25%

    自变量机器人发布跨模态具身动作分词器X-Tokenizer,采用语义残差量化(SRQ)架构,在17个机械臂系列、240万条轨迹(含20亿动作帧)上预训练。相比FAST,多模态对齐能力提升13.5%,长程任务性能提升8.25%,RoboTwin 2.0得分82.8;真机测试优于FAST和4级RVQ等对比方法。

    推荐理由:原文给出了X-Tokenizer的方法设计与对比实验数据,读者可以了解动作分词器的多模态对齐思路及其可复用效果。

3月24日周二
  1. Berkeley AUTOLAB68

    CaP-X:面向机器人操作的编码智能体基准测试与改进框架发布

    Berkeley AUTOLAB等团队提出CaP-X开放框架,用于系统研究机器人操作中的Code-as-Policy智能体,核心包括交互环境CaP-Gym和评测12个前沿模型的CaP-Bench。

    推荐理由:原文给出了Code-as-Policy智能体的系统评测框架和测试时扩展可缓解抽象依赖的发现,对研究编码智能体操作控制有参考价值。

3月20日周五
  1. Dexterity60

    Dexterity 详解 Foresight 装箱智能体的评测方法与生产指标

    Dexterity 发文介绍 Foresight 装箱智能体的系统评测与生产测量。规划侧在四组真实仓库箱型分布上测试,密度 0.65–0.77、稳定性 99.7–100%,并用无分布顺序统计量给出 95% 置信区间;文中还发现随机打乱箱子序列会使局部方差坍缩约 1.4 倍,导致评测偏乐观。

    推荐理由:原文完整披露装箱智能体的评测方法,包括无分布置信区间和随机打乱带来的评测偏差,方法可迁移到同类系统。

3月6日周五