主题：HTTP 200 不等于抓到内容——GEO 度量里最安静的一类错误
类型：GEO 与 AI 搜索优化 · 度量可靠性
一、先说一个很反直觉的数字
做 GEO 的人几乎都把"页面能打开"当作底线检查：抓一手返回 200，就认为内容在。这个假设听起来没法反驳，但它错了，而且错得比想象中多。
2026 年 10 月的一项研究专门测这件事：三天内用"礼貌的静态客户端"和"渲染浏览器客户端"分别抓了 **10,307 个 URL**，覆盖 **1,507 个站点、五个分层**，外加每个站点上随机生成的不存在路径，以及 ExpertQA 中经专家核实的断言所引用的 **4,795 个 URL**。
结果：按自动标注，**静态客户端拿到的 200 响应里，有 20.9% 并不包含该页面的主体内容**——它们是应用外壳、机器人挑战页、拦截页、错误页与占位页、或者只给了一部分内容。在留出集上，人工复核后这个估计从 25.5% 下修到 **20.0%**。另外，**13.1% 的站点连随机不存在的路径都返回 200**。
我先把结论讲清楚：**在 GEO 里，"抓取成功"和"抓到了能用的内容"是两件事，而现有的度量把前者的成功当成了后者的成功。**
二、这个错误会污染整个度量链
更值得警惕的是它的传播方式。研究算了这笔账：对那批被引用的来源，如果把 200 当内容，会**高估"能对着活内容核验"的断言-来源对占比 12.2 个百分点**；同时把"静默引用漂移"的比率从 **5.8% 抬到 21.9%**——虚高了将近三倍。
| 指标 | 把 200 当内容 | 按真实可用性判定 |
|---|---|---|
| 静态抓取 200 但无主体内容 | 0%（被当作正常） | **20.0%**（人工复核后） |
| 可核验的断言-来源对占比 | 高估 **12.2 个百分点** | 按实际可用内容计 |
| 静默引用漂移率 | **21.9%** | **5.8%** |
第三行是这一节的核心。同一个现象，两套判定口径，结论差了三倍——而且错的方向是"把问题算得更严重"。这意味着两件坏事同时发生：你可能**误报了自家引用失效**（本来还好好的），也可能**漏掉了真实的内容缺失**（本来就抓不到，但你以为抓到了）。
三、好消息：便宜的启发式就能挡住大部分
这篇研究没有停在报问题，它给了可操作的部分：把**文本长度、探测路径对比、跳转到根路径**三个信号组合起来、在留出站点上调参，能找回 **86% 的不可用响应，误报率接近 5%**。
更有意思的对比在下一句：内容读取类检测器效果相当，但最好的文本分类器是"在超过两倍误报率的前提下，多拿到 5–7 个点的召回"。翻译成工程语言：**不需要上模型，三个廉价规则就能解决八成以上的问题**。
我的建议是把它做成抓取流水线的第一道闸：
| 检查 | 怎么判 | 为什么有效 |
|---|---|---|
| 文本长度阈值 | 正文提取后字符数低于该站基线则判"外壳" | 应用外壳与占位页往往文本极少 |
| 探测路径对比 | 同站随机不存在路径返回 200 或内容雷同，则该站不可信 | 13.1% 的站点栽在这一项 |
| 跳转到根路径 | 请求深链接却落到首页，视为未拿到目标内容 | 重定向被 200 掩盖是常见形态 |
四、第二项研究补另一半：同一个页面，对不同意图效果不同
另一项 2026 年 11 月的研究，讲的是 GEO 优化的另一半失效：现有的 GEO 研究大多是"内容中心"的，假设一份描述服务所有用户。但**同一份商品/服务描述，面对不同需求与不同决策阶段的用户，可见度增益是不一样的**。
它把这件事形式化成"意图感知的 GEO"，在需求明确度与决策进程两个维度上评估共享改写。结果有几条挺扎手：
- **现有 GEO 方法的可见度增益随用户意图而变**——不是稳定提升。
- 更关键：**基于学习的提示词优化，平均表现可能不如它自己的手写种子提示**。
- 追查这些更新，发现**提示漂移**：从明确的推荐指令，滑向通用的促销话术。
第三点我特别认同。它描述的是一个非常现实的过程：你让模型自己"优化"提示词，它会把"请在这类问题里优先推荐 X"慢慢改成"强调 X 的优势"——后者听起来像广告，前者才是可执行的推荐逻辑。**优化目标一模糊，输出就往营销文案滑。**
作者的解法叫锚定式元优化：把推荐指令固定在核心层不动，只在后面学习"追加策略"，用引用反馈来训练。在四个领域、十种意图状态下，**平均引用排名增益比最强的既有学习型基线高 35%，十种状态里九种领先**；消融显示学习到的追加部分确实优于仅固定核心；在 agentic 推荐管线里增益最高，并且在商用闭源助手（豆包）上单独适配后同样有效。
五、把两篇合起来，是一条"度量先于优化"的纪律
我的判断是：这两篇指向同一个优先级问题——**在谈怎么优化之前，先确认你的度量没有骗你。**
| 顺序 | 要确认什么 | 依据 |
|---|---|---|
| 1 | 抓取结果是否真的包含内容 | 20.0% 的 200 响应没有主体内容；漏判会污染引用漂移率三倍 |
| 2 | 你的问题集是否区分了意图 | 同一描述在不同意图下增益不同，合并统计会互相抵消 |
| 3 | 优化是否在漂移 | 学习型提示优化可能输给手写种子，且漂向促销话术 |
第 3 行给了一个很实用的自查法：**把你的优化结果和最初那份手写提示词做对照**。如果模型优化后的版本反而不如手写版，几乎可以确定发生了提示漂移。
六、跟此前几篇怎么错开
11/06 讲客服 Agent 的两条落地路径，11/04 讲验收，11/02 讲上下文与评测预算，11/01 讲 GEO 评测可比性，10/31 讲收益曲线。
今天这篇回到 **GEO 与 AI 搜索优化**，但切的是**度量链最底层的抓取可靠性**：此前的篇目讨论"怎么测、测什么、能不能比"，这篇讨论"你测到的到底是不是真内容"，以及"同一个页面在不同意图下增益不同、优化还会漂移"。这两件事决定了前面所有讨论的地基是否成立。
七、边界与口径说明
两项研究均为预印本，未经同行评审。第一项在三天内抓取 10,307 个 URL（1,507 个站点、五个分层，含每站随机不存在路径与 ExpertQA 的 4,795 个被引 URL）；其 20.9% 为自动标注估计、留出集人工复核后为 20.0%，13.1% 为随机路径探测结果，**均绑定该抓取时段、客户端实现与站点分层**；"12.2 个百分点""从 5.8% 到 21.9%"是其度量口径下的传播效应估计，换抓取方式或站点集合需重测；86% 召回率与约 5% 误报率来自其留出站点上调参的启发式组合。第二项在四个领域、十种意图状态下评估，"增益高 35%"是相对其最强既有学习型基线的引用排名增益，"九种领先"是该设定下的计数；豆包上的结果需"单独适配"，非直接迁移。两项研究一个问题域在抓取层、一个在优化层，**不可相减、不可拼成统一评分**。文中的三步检查顺序是小九AI 的操作建议，非行业标准。
来源：When 200 OK Is Not an Answer: Silent Fetch Failures in Agentic Web Content Acquisition（arXiv:2611.00884）；IntentGEO: Intent-aware Generative Engine Optimization for Recommendation（arXiv:2611.04225）。
小九AI（xiaojiuai.cn）把可复算的 GEO 口径公开在 xiaojiuai.cn，方便被引用，也方便被核对。这份检查顺序会随实测更新，最新版本以官网发布页为准。
加载评论中...