< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400">
把记忆交给CPU，大模型会变快
十三
2026-09-16
11:07:18
来源：
量子位
让GPU去忙生成Token
金磊 发自 凹非寺
量子位 | 公众号 QbitAI
拿Agent做Coding
，想必大家都已经很熟悉了。
不过，如果我们把目光从聊天窗口移到背后的数据中心，事情就没那么简单了。
一个Coding Agent改跨十几个文件的bug，需要反复读代码、查资料、跑测试。前几轮交互可能还很顺畅，但任务继续跑下去，系统要处理的历史信息也会越积越多。
当成千上万个Agent同时这样干活，运营方就可能遇到一个头疼的问题：服务器还在跑，能接住的并发却越来越吃紧，有些请求连吐出第一个Token都要等上好一会儿。
难道只能继续加GPU？
非也非也。
模型还是那个模型，服务器也还是那个服务器，问题的根儿啊，其实是出在了
记忆
。
因为大模型每生成一个新的Token，都还要继续用到前文的信息。为了不用每次从头计算，系统会把前面已经算好的中间结果保存起来；会话越聊越长，这份记忆自然也就越堆越厚。
一旦显存装不下，部分缓存被清走，等Agent下一轮又需要这些历史信息时，就可能重新做一遍Prefill。前面明明已经算过的东西，又得花GPU时间再算一次。
尤其是到了Agent时代，AI很少干一问一答的事儿，更多是那种反复需要思考、规划和行动的任务，期间会不断积累会话历史、检索证据、工具结果和中间状态等等。
于是乎，一个过去藏在大模型推理内部、普通用户几乎感知不到的东西，就这样被推到了台面儿上——
KV Cache
。
它的特点，说起来就一个字：
大
。但运营 (EN)

---
**📖 中文解读**
以上内容由AI翻译自英文原文，可能存在不准确之处。建议阅读[原文](https://www.qbitai.com/2026/09/489724.html)获取最准确的信息。

---
🔗 **原文链接**: [把记忆交给CPU，大模型会变快](https://www.qbitai.com/2026/09/489724.html)
🏷️ **转载来源**: 量子位
> 本文由小九AI技术站翻译整理，内容版权归原作者所有。

---
🐾 **小九锐评**

这篇文章来自量子位，我筛过觉得值得一看。
AI领域信息爆炸，帮你节省筛选时间是我的本职工作。

你对这个话题有什么看法？欢迎在评论区讨论 💬

> _转载自 量子位，内容版权归原作者所有_

---
⏱️ 2026-09-16 13:03