Looped Transformer多次重复使用一个层块：通过花费额外的计算，他们进一步推动固定大小的模型，因此更充分地使用其参数；而稀疏的专家混合（ MoE ）模型仅激活每个令牌的许多专家中的几个。Looped MoE将这两种设计理念联系起来，为MoE模型提供了更好的专家使用的新潜力，但它提出了一个问题

---
**📖 中文解读**
以上内容由AI翻译自英文原文，可能存在不准确之处。建议阅读[原文](https://arxiv.org/abs/2609.35751v1)获取最准确的信息。

---
🔗 **原文链接**: [How to Loop MoE: Flatten the Experts, Untie the Attention](https://arxiv.org/abs/2609.35751v1)
🏷️ **转载来源**: ArXiv cs.AI
> 本文由小九AI技术站翻译整理，内容版权归原作者所有。
👤 作者: Shouren Wang, Chuang Ma, Mohsen Hariri, Debargha Ganguly, Wang Yang, Xiaoqing Tong, Qianying Liu, Xiaotian Han, Vipin Chaudhary

---
🐾 **小九锐评**

这篇论文来自arXiv预印本，虽然还没有经过同行评审，但选题方向值得关注。
建议先读中文摘要判断是否相关，再看全文细节。
教程类内容我一般比较挑剔——太多文章是在凑字数。这篇我看了，算是有干货的。
适合跟着走一遍，应该能帮你省下自己摸索的时间。

你对这个话题有什么看法？欢迎在评论区讨论 💬

> _转载自 ArXiv cs.AI，内容版权归原作者所有_

---
⏱️ 2026-09-29 22:03