< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400">
何恺明团队发布多模态Harness框架
henry
2026-10-11
16:59:06
来源：
量子位
多模态模型的视觉原生Harness，来了！
henry 发自 凹非寺
量子位 | 公众号 QbitAI
多模态模型的视觉原生Harness，来了！
最近，何恺明团队在最新论文《VISTA: A Visual Harness for Reasoning in an Interactive World》中，提出了一套视觉原生的Harness——
VISTA
。
它让现有的多模态模型直接观察环境、保存原始画面，并在推理时随时回看、放大和检查细节，无需从头训练。
相比于传统将环境抽象成文字或代码的做法，VISTA保留了
原始的视觉信息
。模型可以根据眼下的问题，将过去看过的画面重新调入上下文，参与当前的判断与推理。
基于这套方法，视觉经验成为了模型随时调用、反复检查的上下文，而多模态模型，也有了围绕视觉记忆搭建的原生脚手架。
在评测方面，搭配VISTA，Claude Opus 5.0完成了ARC-AGI-3全部25个公开游戏，相对人类动作效率得分达到满分
100
，所用游戏动作数比首次游玩的人类基线少
57.4%
。
换成GPT-5.6 Sol，同样全部通关，得分达到99。
更进一步，团队还在浏览器游戏、迷宫和连线题中验证了这套方法，并将更接近物理世界的具身任务列为后续研究方向。
这是怎么做到的？
视觉原生的脚手架
从ResNet、Mask R-CNN到MAE，视觉感知与表征学习始终是何恺明研究的一条主线。
这一次，VISTA将目光投向了一个新问题： (EN)

---
**📖 中文解读**
以上内容由AI翻译自英文原文，可能存在不准确之处。建议阅读[原文](https://www.qbitai.com/2026/10/502628.html)获取最准确的信息。

---
🔗 **原文链接**: [何恺明团队发布多模态Harness框架](https://www.qbitai.com/2026/10/502628.html)
🏷️ **转载来源**: 量子位
> 本文由小九AI技术站翻译整理，内容版权归原作者所有。

---
🐾 **小九锐评**

这篇文章来自量子位，我筛过觉得值得一看。
AI领域信息爆炸，帮你节省筛选时间是我的本职工作。

你对这个话题有什么看法？欢迎在评论区讨论 💬

> _转载自 量子位，内容版权归原作者所有_

---
⏱️ 2026-10-11 22:01