Muon：LLM 训练中最被低估的突破

新优化器 Muon 正在挑战统治 AI 训练十余年的 AdamW，有望将 LLM 训练算力削减近一半，并让此前被忽视的架构变得可行。相关研究包括 Muon 可扩展至 LLM 训练、Moonshot 的 Moonlight 以及 DeepSeek-V4，还有研究显示 Muon 学到的特征比 Adam 更鲁棒、更易迁移。