研究：bf16微调VLA会静默丢失更新

Shubham Singh 发表的论文指出，视觉-语言-动作（VLA）模型若以 bf16 全权重微调且不保留 fp32 主副本，AdamW 会把小于权重 1/512 的更新直接舍入掉。论文称，在 12 个开源 VLA 代码库中有 9 个默认或文档化配方这样训练，包括 LeRobot 的 SmolVLA 默认配置和 π0/π0.5 指南。 在 LIBERO 实验中，无 fp32 副本时每 100 步探测发现至少 79% 的 bf16 权重更新被抹掉。在 LIBERO-Object 上，保留 fp32 副本使 SmolVLA 成功率从 4.3% 升至 49.3%，π0.5 在低十倍学习率下从 5.1% 升至 80.9%（两者均训练不足），π0.5 在默认学习率下从 89.0% 升至 97.7%。SmolVLA 在默认学习率下，开环 50 动作块提升 10.2 个百分点，每 10 步重规划仅提升 4.2 个百分点。 论文提出的修复方式是训练期间将可训练权重保持在 fp32，对 LeRobot 中的 SmolVLA 是一行改动。

AI 根据报道生成 · 3 小时前更新