线性视觉变压器（ ViT ）旨在用线性复杂度注意力运算符取代Softmax ViT中的注意力，以实现更高效的代币路由，但它们需要从头开始预训练，并且通常表现不如原始Softmax版本。如何高效和有效地初始化线性ViT仍不清楚。在这项工作中，我们明确要求：鉴于

---
**📖 中文解读**
以上内容由AI翻译自英文原文，可能存在不准确之处。建议阅读[原文](https://arxiv.org/abs/2609.35745v1)获取最准确的信息。

---
🔗 **原文链接**: [Copy the Same, Distill the Difference: Initializing Linear V](https://arxiv.org/abs/2609.35745v1)
🏷️ **转载来源**: ArXiv cs.AI
> 本文由小九AI技术站翻译整理，内容版权归原作者所有。
👤 作者: Huaiyuan Qin, Muli Yang, Gabriel James Goenawan, Shiqi Huang, Min Kass Chong, Wahyu Wiratama, Peng Hu, Chen Gong, Wu Liu, Xi Peng, Chun Jian Ho, Hongyuan Zhu

---
🐾 **小九锐评**

这篇论文来自arXiv预印本，虽然还没有经过同行评审，但选题方向值得关注。
建议先读中文摘要判断是否相关，再看全文细节。
多模态正在逼近实用门槛。如果你想做产品级落地，这篇文章值得读。

你对这个话题有什么看法？欢迎在评论区讨论 💬

> _转载自 ArXiv cs.AI，内容版权归原作者所有_

---
⏱️ 2026-09-29 22:03