SACQ超低比特VLA量化框架发布

Haesung Lee、Insu Han 提出 SACQ，一种面向视觉-语言-动作（VLA）模型的超低比特权重量化框架，结合结构感知码本拟合、动作感知混合比特分配和两阶段量化后精修。 据作者报告，在 GR00T N1.7 上，语言/动作权重为 1.5 比特时，SACQ 在四个 LIBERO 套件上平均成功率为 93.85%，模型内存减少 4.83 倍；叠加 INT8 激活量化和低精度注意力后，成功率保持 93.55%，运行速度比 BF16 快 1.51 倍。在 SimplER 上，语言/动作权重为 2 比特时，SACQ 在 Visual Matching 和 Variant Aggregation 两项任务上的成功率分别为 63.76% 和 52.27%，BF16 对应为 58.90% 和 53.45%。

AI 根据报道生成 · 8 天前更新