arXiv cs.RO· Shubham Singh·· 3 小时前精选AI 评分78
研究：VLA 全权重微调缺少 fp32 主副本会静默抹掉大部分更新
Full-Weight VLA Fine-Tuning Without an fp32 Master Copy Silently Erases Most Updates
AI 导读
该论文指出，VLA 模型在 bf16 下全权重微调且不保留 fp32 主副本时，AdamW 会把小于权重 1/512 的更新直接舍入掉；在 12 个开源 VLA 代码库中有 9 个默认或文档化配方这样训练，包括 LeRobot 的 SmolVLA 默认配置和 π0/π0.5 指南。
推荐理由
原文量化了 bf16 微调丢失更新的比例，并给出 fp32 主副本在 LIBERO 上的成功率对比，可作为训练配置的参考。
来源：arXiv cs.RO · arxiv.org