自变量机器人发布 DMuon 优化器,具身模型分布式训练效率提升约 30%
自变量机器人发布 DMuon 优化器,对 Muon 优化器进行分布式改造,将具身模型分布式训练效率提升约 30%,每步训练时间从 AdamW 的 2.2 倍降至 1.02 倍。改进包括 Owner 中心执行与通信优化、按矩阵形状自动选择计算内核、均衡分配各 Owner 工作量。DMuon 已完全开源,与 Muon 使用方式兼容,只需 3 行代码即可引入训练。
推荐理由:原文解释了 Muon 在分布式训练中的开销来源和三项改进做法,具身模型团队可借此评估训练提效的可行性。