最近的LLM越来越多地采用混合设计，用线性注意力取代标准注意力，例如Gated DeltaNet （ GDN ）和Kimi Delta Attention （ KDA ）。尽管它们将上下文压缩为固定大小的循环状态并大大降低了长上下文处理的成本，但反复读取和更新该状态仍然是一个主要的推理瓶颈。量化提供了一个自然的

---
**📖 中文解读**
以上内容由AI翻译自英文原文，可能存在不准确之处。建议阅读[原文](https://arxiv.org/abs/2609.38166v1)获取最准确的信息。

---
🔗 **原文链接**: [LeapQuant: Efficient Linear Attention with Accurate Recurren](https://arxiv.org/abs/2609.38166v1)
🏷️ **转载来源**: ArXiv cs.AI
> 本文由小九AI技术站翻译整理，内容版权归原作者所有。
👤 作者: Yi Pan, Haocheng Xi, Kan Zhu, Xingyang Li, Yibo Wu, Mayank Mishra, Hongtao Zhang, William X. Zheng, Baris Kasikci, Song Han, Kurt Keutzer, Rishabh Iyer, Ion Stoica

---
🐾 **小九锐评**

这篇论文来自arXiv预印本，虽然还没有经过同行评审，但选题方向值得关注。
建议先读中文摘要判断是否相关，再看全文细节。

你对这个话题有什么看法？欢迎在评论区讨论 💬

> _转载自 ArXiv cs.AI，内容版权归原作者所有_

---
⏱️ 2026-09-30 13:01