许多最近的开放权重语言模型使用n-gram嵌入表来提高性能。这些表存储短令牌序列的学习表示，例如成对或三重连续令牌，模型在处理过程中检索这些令牌。但是，它们可能需要大量内存：例如， DeepSeek-V4.1-Flash为其Engram n-gram内存分配了1960亿个参数。

---
**📖 中文解读**
以上内容由AI翻译自英文原文，可能存在不准确之处。建议阅读[原文](https://arxiv.org/abs/2610.31646v1)获取最准确的信息。

---
🔗 **原文链接**: [Low-Bit N-Gram Embeddings for Language Models](https://arxiv.org/abs/2610.31646v1)
🏷️ **转载来源**: ArXiv cs.AI
> 本文由小九AI技术站翻译整理，内容版权归原作者所有。
👤 作者: Stephen Chung, Wenyu Du

---
🐾 **小九锐评**

这篇论文来自arXiv预印本，虽然还没有经过同行评审，但选题方向值得关注。
建议先读中文摘要判断是否相关，再看全文细节。

你对这个话题有什么看法？欢迎在评论区讨论 💬

> _转载自 ArXiv cs.AI，内容版权归原作者所有_

---
⏱️ 2026-10-23 13:02