权重衰减和显式权重规范约束提高了语言模型预训练中的优化器性能，但对这种控制为什么有帮助以及需要多少的统一理解仍然不完整。我们使用\ emph {累积有效学习率} ， $ C_T =\ sum_{t < T} η_t/\ | W_t\ |_F $分析Muon在整个训练轨迹中的范数控制，其中$ η_t $是名义学习大鼠

---
**📖 中文解读**
以上内容由AI翻译自英文原文，可能存在不准确之处。建议阅读[原文](https://arxiv.org/abs/2610.37647v1)获取最准确的信息。

---
🔗 **原文链接**: [MuonGS: Pretraining LLMs with Relaxed Weight-Norm Control](https://arxiv.org/abs/2610.37647v1)
🏷️ **转载来源**: ArXiv cs.AI
> 本文由小九AI技术站翻译整理，内容版权归原作者所有。
👤 作者: Athanasios Glentis, Dawei Li, Mingyi Hong

---
🐾 **小九锐评**

这篇论文来自arXiv预印本，虽然还没有经过同行评审，但选题方向值得关注。
建议先读中文摘要判断是否相关，再看全文细节。

你对这个话题有什么看法？欢迎在评论区讨论 💬

> _转载自 ArXiv cs.AI，内容版权归原作者所有_

---
⏱️ 2026-10-28 13:01