ALPS：统一物理状态与语言的视觉编码器

ALPS 论文作者团队提出预训练视觉状态编码器 ALPS，在一组 patch token 中统一物理状态信息、语言对齐与像素重建三种能力。该模型仅用静态图像和文本从零预训练 ViT-B/16，先以语言、重建和空间对应为目标训练，再通过跨视角自蒸馏进一步优化。 在对十五个公开编码器的统一评测中，ALPS 在 ViT-B 模型里取得最低的 LIBERO 状态探测聚合误差，作者称其表现与大 3.5 倍的 V-JEPA 2-L 相当；冻结的 ALPS token 配合其原生文本塔时，在 LIBERO 上达到 85.5% 的最高平均策略成功率。

AI 根据报道生成 · 3 小时前更新