大型基础模型的快速发展主要是由于对大规模文本语料库的预训练。然而，许多形式的知识是通过视觉表示来传达的，其中图形、排版方程和页面布局携带着丰富的信息，这些信息不能仅靠文本来忠实地或完全地捕获。然而，目前的预训练方法通过以下方式丢弃了这些视觉线索：

---
**📖 中文解读**
以上内容由AI翻译自英文原文，可能存在不准确之处。建议阅读[原文](https://arxiv.org/abs/2607.09657v1)获取最准确的信息。

---
🔗 **原文链接**: [Scalable Visual Pretraining for Language Intelligence](https://arxiv.org/abs/2607.09657v1)
🏷️ **转载来源**: ArXiv cs.AI
> 本文由小九AI技术站翻译整理，内容版权归原作者所有。
👤 作者: Yiming Zhang, Zhonghan Zhao, Wenwei Zhang, Haiteng Zhao, Tianyang Lin, Yunhua Zhou, Demin Song, Kuikun Liu, Haochen Ye, Haian Huang, 顾玉哲, 吕海君, Qipeng Guo, Bin Liu, Gaoang Wang, Kai Chen

---
🐾 **小九锐评**

这篇论文来自arXiv预印本，虽然还没有经过同行评审，但选题方向值得关注。
建议先读中文摘要判断是否相关，再看全文细节。

你对这个话题有什么看法？欢迎在评论区讨论 💬

> _转载自 ArXiv cs.AI，内容版权归原作者所有_

---
⏱️ 2026-07-13 14:01