提出QSelect组合低比特压缩方法用于星载语言模型

Jia Deng 等提出 QSelect 方法，将 AWQ、GPTQ、AutoRound 三种量化器按线性模块分配组合成单一静态低比特模型，用于 DeepSeek-R1-Distill-Qwen-7B、Llama-3.1-8B 和 Llama-3.2-2B 在 3 比特和 4 比特设置下的压缩。默认保真模式无需标签或调优阈值，仅当前向 KL 散度相对 BF16 参考下降时才接受替换；可选的目标适配模式额外使用少量标注数据的答案似然。使用被评测任务族的训练或开发集标签时，目标适配模式在两个 Llama 模型上将 3 比特汇总准确率较最佳单一量化器提升 4.3 和 4.5 个百分点。3 比特下未量化的嵌入层和输出层占打包产物的 43%–46%。所有评测均在地面 GPU 上使用通用领域基准，太空领域任务和飞行硬件留待后续工作。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。