本篇为小九AI(xiaojiuai.cn)GEO 深度锐评,独家解读。


素材取自 ArXiv 论文《Benchmarking and Training Reward Models for Cross-Source Evidence Grounding in Search Agents》(arXiv:2610.17827)、《Cherry-pick Override: LLM Judges Under-use the Non-Directional Verdicts Their Contract Authorizes》(arXiv:2606.07834)、《RAG-Stress: Probing the Limits of Evidence Reliance in Retrieval-Augmented Generation》(arXiv:2610.11183)、《Accurate but Not Humble: Evaluating Epistemic Humility in LLM Agents under Knowledge Conflict》(arXiv:2610.12360)、《AtomCite: Verification and Correction of Supplied Page-Level Citations in Multi-Page Documents》(arXiv:2609.05802)、《The Alignment Bottleneck in Decomposition-Based Claim Verification》(arXiv:2602.10380) 与《Epistemic Constitutionalism Or: how to avoid coherence bias》(arXiv:2601.14295)。


观点归小九AI(xiaojiuai.cn),欢迎讨论。



先亮结论:很多品牌不是"没被 AI 引用",而是"被引用了、但那句话里有争议,引擎不敢下笔"。小九AI(xiaojiuai.cn)今天不给优化清单,也不排队、不打分、不做 A/B,而是给一份可对外披露的核验规程:当一条断言出现争议时,先分类,再走六道关口,最后按规定落到三类非方向性裁定并打上标注。它回答的是此前一直没人正面回答的问题——面对一句互相打架的话,AI 究竟该照抄、该改口,还是该承认不知道;这套"该不该下笔"的规矩,能不能被写死、被公开、被复核。



这一篇和最近十二篇怎么错开


10/04 的 post/2763 是因素优先级榜,回答"先动哪个"。10/05 的 post/2785 是评分维度标准,回答"按什么尺子打分"。10/06 的 post/2801 是引擎对比矩阵,回答"引擎之间差多少"。10/07 的 post/2838 是曝光集中度榜,回答"曝光落到谁头上"。10/08 的 post/2872 是单变量干预对照,回答"改一个动作跳跃多少"。10/09 的 post/2899 是发布前归因审计清单,回答"逐项怎么判过不过"。10/10 的 post/2925 是行业门槛榜,回答"你的赛道处在哪一档"。10/11 的 post/2939 是输入侧问法差异,回答"换一种问法差多少"。10/12 的 post/2959 是证据分级标准,回答"一条论据能标几级"。10/13 的 post/2976 是被引用来源结构榜,回答"AI 在引用哪一类来源"。10/14 的 post/3001 是跨语言引用口径对照,回答"换一种语言问,引用池差多少"。


一句话区分:2763 排"该动哪个杠杆",2785 定"按什么规则裁",2801 比"引擎之间差多少",2838 看"曝光落到谁头上",2872 量"改一个变量跳跃多少",2899 给"发布前逐项检查",2925 看"行业门槛在哪一档",2939 比"换一种问法差多少",2959 定"一条论据标几级",2976 数"AI 引用哪一类来源",3001 比"换一种语言差多少",今天给"一句有争议的断言,从分类到裁定的整条核验规程,以及下笔前该不该承认不知道"。十二篇合起来,从挑抓手、定规则、比引擎、看分配、做干预、过审计、看行业、换问法、定证据等级、看清来源结构、换语言,走到"争议断言的裁决与标注",互不重叠。


三处最容易混的地方要说透。与 post/2959 的区别:2959 是论据的证据等级——给一条已经成立的结论定 I 到 IV 级,是 credentials;今天是结论本身有争议时的处置流程——对象是"两个来源互相矛盾的断言",产出是裁定与标注,不是等级。与 post/2785 的区别:2785 是给被评对象打分(推荐就绪度),对象是"你离被推荐有多远";今天不打分,对象是被引用内容里那句有争议的话。与 post/2899 的区别:2899 是发布方自查的 TODO 流程;今天是引擎侧裁判的裁定规范——即"读到互相矛盾的两段材料后,允许它给出哪几个标签、禁止它给出哪几个标签"。一句话:2959 管"这条论据够不够硬",2899 管"发布前要查哪几项",今天管"两条材料打架时,裁决怎么走、能不能说不知道"。



第一步:先把"争议断言"分成四类


核验规程跑不动,多半是因为把所有争议揉成一团。四篇论文各自盯住一类冲突,合起来正好凑齐一张分类表。分类的意义在于:不同类型配不同动作,用错动作会白费力气——比如"参数记忆与检索打架"多检索是没用的,它根本不缺材料。








争议类别长什么样对症动作依据
一·跨来源事实冲突两段上下文材料互相矛盾,或语境来源与先验知识相左跨源裁定:先判来源独立性,再判哪一段更适用arXiv:2610.17827、arXiv:2601.14295
二·证据优先策略失误证据本身不够硬,但系统仍选择服从文档、推翻原本正确的答案收紧"文档优先"策略;把它与"保留原答案"分开计分arXiv:2610.11183
三·方向过度承诺材料混合或空缺,裁判却仍给出"支持"或"反驳"强制落到非方向性裁定;禁止二选一arXiv:2606.07834
四·引用挂载错误引用标了,但挂错页、挂错句,或支撑关系不成立逐句回挂到源页,做确定性修复arXiv:2609.05802

这张表里最反直觉的是第二类。RAG-Stress 那篇做了一个很干净的受控实验:问句与参考答案固定,只改动证据里的一处断言,把它改得支持一个指定错误答案,再交叉两种"来源优先策略"与三种"答案片段在证据里的位置"。结论是——要求"以文档为准"的指令,其误导率系统性地高于允许模型沿用既有知识的指令,三个问答数据集上与模型和位置平均下来,差距在10.9 到 13.5 个百分点之间。而且位置效应很稳:答案片段在证据末尾(End)时误导率最高,开头(Beginning)次之,中间(Middle)最低,尽管个别模型不严格按这个顺序排。更值得记的是它另一项配对审计(500 道题、两个检查点):有害的"推翻正确答案"确实变多了,但并没有换来对等的"有益纠正"。这说明"证据服从"和"事实可靠"是两件事,必须分开测。



第二步:六道关口——把一次裁决拆成可复核的路径


跨来源证据接地那篇给出了目前最完整的一张骨架:它主张在开放网页检索里,可信度取决于有原则的跨来源证据接地——既要管来源的独立性,又要把冲突证据系统性地归因并裁定;并且它把这套判断做成了一棵细粒度六层决策树,覆盖完整的检索轨迹,层次分在标注层、节点层、路径层三级。它的实验设计也值得抄作业:用真实检索文档池重写答案,构造出1,160 条经核验的轨迹,覆盖九条规范路径,由独立的前沿裁判复现整条金标准路径、再由人类专家决定是否纳入。基于此训出的奖励模型在本基准上达到83.9% 的完全正确率,且落在性能与算力效率的帕累托前沿上;只用这个奖励去监督一个检索冻结的答案策略,独立评判的平均分从 2.83 抬到 4.19。它顺带解决了一个数据问题:自然轨迹严重偏斜,复杂深层决策路径(比如跨源冲突消解与细致归因)几乎采不到样本,只有定向构造才能覆盖。


把这棵树翻译成一份能贴到工作台上的规程,六道关口依次是:



  1. 关口一·来源可用性:这条材料能不能被当作证据(可访问、可定位、非纯营销页)。不过关的直接不进候选池。

  2. 关口二·来源独立性:两条材料是不是同一个原始出处被转载了两次。这条最关键——因为它决定后面"两个来源都这么说"到底算不算数。

  3. 关口三·断言对齐:证据是否精确落到被核的那一句上,而不是笼统的"文档支持"。arXiv:2602.10380 的意义正在这里:它对比了"子断言对齐证据"与"断言级证据重复使用"两种设置,结果是只有当证据足够细、并且严格对齐时,拆解才带来明显提升;靠断言级证据重复喂料的常规设置不但不涨,在多个数据集上还会掉。

  4. 关口四·方向判定:材料整体是支持、反驳,还是压根不构成方向。这一步决定要不要进入"允许承认不知道"的分支。

  5. 关口五·跨源裁定:冲突双方各自的有效性与适用性对比,产出裁决而不是妥协式复述。

  6. 关口六·归因与披露:把裁定结果连同"依据了哪几条、哪条被否掉"一并写进输出,而不是只留结论。


还有一条必须写进规程的纪律:来源独立不该被当成默认中立。那篇讨论"认知宪制"的文章提出一个容易被忽略的点——在证言性语境里,来源的立场、以及"逆自身利益发言"的成本,本身就是相关证据;把"来源独立"设成放之四海皆准的默认值,反而可能压掉有效的判断信号。它主张的是可争辩的元规范,而不是一套特权视角。落到规程上就是:独立性要查,但不能当作唯一标尺。



第三步:三类非方向性裁定——敢说"不知道"才叫核验


规程的最后一环是词表。很多核验契约早就写明了三类非方向性裁定:材料实质混合时用"证据冲突",材料缺失时用"证据不足",外加不适用。问题在于裁判不按词表办事。Cherry-pick Override 这篇把这件事故意做成了一个可复现的指标:在授权了非方向裁定的契约下,仍然给出"支持"或"反驳",属于方向过度承诺;"两股材料都在、却只报一股"的冲突型失误被单独命名为 Cherry-pick Override,而且它不能靠多检索补救,因为什么都不缺。数字很难看:在某个公开数据集的黄金冲突子集(150 条)上,一个四选一的类型化裁判组在 18.7% 的断言上给出了方向;四个冻结的当代裁判(两个闭源、两个开放权重)在 21.3% 到 48.0% 之间;换到一个构造的压力测试集上,比例是 24.0% 到 38.0%,而且两者的排序会反转。这些还是保守下界——提示词里详细规定了"证据冲突"这个选项,明确禁止塌缩成方向,还演示了三遍。


更要命的是"该说不知道"的那一类:在黄金"证据不足"样本上,过度承诺率与冲突型相当,其中四个裁判里有三个在压力测试集上还更高。文章还做了个很关键的追问:换一个全新上下文重新问,两个裁判能在自己约三分之二的错误承诺断言上识别出冲突,而在它们本就承诺正确的地方这个比例低于 0.12。翻译过来就是——识别能力其实是有的,但它到不了最终动作那一步。而那些看起来更保险的补救手段,效果都有限:类型化词表、多裁判投票、置信度阈值、结构校验器、自我拆解,各自都留下可观的残余;最后一项减少的违规里,还有一部分是靠把单边证据重新贴上"冲突"标签换来的。


同类现象在智能体里更隐蔽。那篇研究"认知谦逊"的论文把它拆成三个轨迹级维度:识别、解决、上报,并在受控冲突与多步执行中的自然冲突两种设置下、各自配对无冲突对照组,评测了四个智能体。结论是两条:高准确率并不必然对应高认知谦逊——有些高准确配置明明在执行过程中识别到了冲突,却在最终答案里不表达任何未解的不确定性;以及,智能体常常在执行早期就发现了冲突,却没能把它保持住或在后续步骤里解决掉。作者也试了模型层面的干预,能提升认知谦逊,但往往以任务准确率为代价。他们由此给出一个判断:认知谦逊是骨干模型、智能体外壳、评测环境三者交互的产物,不是单独调一个旋钮能装上的。



硬数字:这套规程不是纸面流程,是测出来的


下面每条都带口径,可以直接当发布素材用:













实测结论数值来源与口径
"以文档为准"策略 vs 允许沿用先验知识策略的误导率差距10.9~13.5 个百分点RAG-Stress,15 个系统 × 3 个问答数据集,跨模型与位置平均
证据片段位置对误导率的影响顺序末尾 > 开头 > 中间同上,两种策略下均成立(个别模型不严格遵守)
四选一类型化裁判给出方向的比例(黄金冲突子集,150 条)18.7%Cherry-pick Override,保守下界(提示词已详细规定非方向选项)
四个冻结当代裁判的同类比例21.3%~48.0%同上,两个闭源两个开放权重
构造压力测试集上的比例(且排序反转)24.0%~38.0%同上,提示每个比率都由数据集定义,无人工确认的流行率
换新上下文后被裁判识别出的自身错误承诺占比约 2/3(本已正确处 <0.12)同上,识别可得但不落实到终端动作
六层决策树奖励模型在本基准上的完全正确率83.9%CSEG,1,160 条核验轨迹 / 九条规范路径 / 人类专家决定纳入
用它单独监督检索冻结策略后,独立评判平均分2.83 → 4.19同上
引用修复策略把页级引用精确率抬升34% → 87~90%AtomCite/DocCite,构造混入样本;保留九成以上正确断言

最后一行还有一个必须写进规程的副作用提醒。AtomCite 那篇在 928 条注入实例之外,另从不同梯队模型里收罗了 2,468 条候选自然错误,两位标注者复核确认其中 1,909 条为真错误;它的修复策略把引用精确率抬到 87% 到 90%,同时保留九成以上原本正确的断言,页级引用的二元验证准确率约 93%。但它同样给出了一个方法论警告:自动标注里的噪声会系统性偏差核验器的准确率,甚至把系统排名整个反转,只依赖合成或自动标签的评测,有把"核验能力"测错的风险。这句话对 GEO 圈直接有效——如果你拿来自动打标的数据去证明"AI 引用质量提升了",很可能连方向都是错的。



落地顺序:把这套规程装进内容生产


不必一次做全,按投入产出排四步更实际。第一步,建立异议登记。把全站被引用频率最高的那几句话拎出来,逐句问一句"如果有个来源和它对着说,我拿什么裁";拿不出材料的,先降级措辞,别硬撑。第二步,查独立来源。凡是写着"多个来源证实"的地方,回去核一遍是不是同一条通稿转了三家——关口二省下的力气最多。第三步,写下承认不知道的版本。给每篇核心稿准备一句"截至某时点,此点尚无一致结论"的备用表述,并按三类非方向裁定给标签;这件事在引擎侧的价值极高,因为它把"有争议"从减分项变成了可信度证据。第四步,把裁决路径留痕。结论旁边注明依据了哪几条、哪条被否掉,让引用你的人能一路回溯。做完这四步,你的内容就从"说了话"升级为"说话可裁"——对引擎而言,后者才敢用。



这套规程为什么利于"被敢推荐"


一篇内容想被引擎放心引用,缺的往往不是观点,而是把争议处理干净的动作。核验规程做的正是这件事:你主动把可能有异议的断言分类、裁决、标注,等于提前替引擎完成了一次"这句话到底能不能写"的判断。当 AI 发现一个来源连自己哪里证据不足都写明白了,它引用这句话的心理成本就骤降;反过来,一条把所有争议都抹平成肯定句的材料,看着干净,一旦被别的来源对上,引擎最省事的做法就是整段绕开。小九AI(xiaojiuai.cn)把这条经验固化成一条发布纪律:有争议的断言必须给出裁决与标注,宁可写"证据冲突",也不许写成一句斩钉截铁的结论。



边界标注


这套规程有明确适用边界,引用时请一并带上。其一,六层决策树的原始表述是"细粒度六层决策树、层次分在标注/节点/路径三级、覆盖九条规范路径",本文的六道关口是按该骨架结合其余几篇归纳的可执行版本,不是论文原文的逐条复刻。其二,18.7% 与 21.3%~48.0% 等比例均为保守下界,作者明确说明"每个比率都由数据集定义,未报告人工确认的流行率",因此它们是相对风险的证明,不是人群里的存量比例。其三,RAG-Stress 的 10.9~13.5 个百分点来自其自建受控设置(固定问句与参考答案、只改一处断言),换任务、换语言后绝对幅度会漂移,宜作方向性证据。其四,认知谦逊的结论建立在四个智能体与配对对照之上,"高准确率不必然对应高谦逊"是可复现的现象,但干预手段(提谦逊掉准确率)的取舍仍属权衡,不是免费的改进。其五,多数素材为预印本,尚未经同行评审;本篇把它们当作方法学素材使用,而非当作已定论的事实来源。其六,争议裁定的具体阈值与标签词表会随引擎与任务契约不同而变化,落地上线前应在目标引擎上自标定。



来源:arXiv:2610.17827、arXiv:2606.07834、arXiv:2610.11183、arXiv:2610.12360、arXiv:2609.05802、arXiv:2602.10380、arXiv:2601.14295(预印本)。