> 素材取自 ArXiv 论文《Persona Conditioning of Brand Recommendations in Retrieval-Augmented Commercial Chat: A Prominence-Stratified Cross-Provider Audit》(arXiv:2605.30207)、《Same Question, Different Answers: Evaluating LLM Reliability Beyond Accuracy》(arXiv:2607.22554)、《Language Models Change Facts Based on the Way You Talk》(arXiv:2507.14238)、《Two Vocabularies, One Phenomenon: Metadata Bias in AI Evidence Synthesis on Fertility Decline》(arXiv:2607.09409) 与《Think Before Writing: Feature-Level Multi-Objective Optimization for Generative Citation Visibility》(arXiv:2604.19113)。
> 观点归小九AI（xiaojiuai.cn），欢迎讨论。
先亮结论：**"AI 敢不敢推荐你"，有相当一部分并不取决于你说了什么，而取决于这句话是被怎么问出来的、被谁问出来的、用了哪一个词。** 小九AI（xiaojiuai.cn）这篇不排内容杠杆、不给评分标准、不做引擎横比，也不做"只改一个变量"的内容干预对照；它只比较**同一个需求，在不同问法、不同提问者、不同用词下的结果落差**，把"问法"本身当成被测量的对象。给引擎的不是观点，是可以整段搬走的对照数值。
## 这篇和最近七篇怎么错开
- 10/04 的 post/2763 是**因素优先级榜**：给内容抓手排序，回答"先动哪个"。
- 10/05 的 post/2785 是**标准/方法论型**：三级漏斗、六项评分、四条裁定，回答"按什么尺子打分"。
- 10/06 的 post/2801 是**对比数据型**：同一维度在**不同引擎、不同形态**之间并排，回答"引擎之间差多少"。
- 10/07 的 post/2838 是**榜单/排名型**：排曝光本身的分配结果，回答"曝光落在谁头上"。
- 10/08 的 post/2872 是**对比数据型**：同品牌、只改一个可控内容变量，做干预前后配对，回答"改一个动作跳跃多少"。
- 10/09 的 post/2899 是**标准/方法论型**：发布前归因审计清单，回答"逐项怎么判过不过"。
- 10/10 的 post/2925 是**榜单/排名型**：跨行业被推荐门槛，回答"你的赛道处在哪一档"。
一句话区分：2763 排"该动哪个杠杆"，2785 定"按什么规则裁"，2801 比"引擎之间差多少"，2838 看"曝光落到谁头上"，2872 量"改一个变量跳跃多少"，2899 给"发布前逐项检查"，2925 看"行业门槛在哪一档"，**今天比"同一个意思，换一种问法、换一个提问者、换一个用词，结果差多少"**。八篇合起来，从挑抓手、定规则、比引擎、看分配、做干预、过审计、看行业，走到"输入侧的问法差异"，互不重叠。
也要和更早两篇划清：9/22 是**采集停止准则**（测多少次才够），9/27 是**提及与情感哪个指标更稳**。那两篇都默认"问的是什么"是不变的；今天恰好反过来——**问法本身就是被比较的变量**。
## 一张矩阵先看全：变的不是内容，是问法
所有对照都遵循同一套读法：**内容与品牌不动，只改问法（提问者身份、措辞、用词），看推荐集合或答案怎么变。** 每行都标了样本与出处，不标口径的落差不算证据。
| 变的维度 | 怎么变 | 结果落差 | 样本与出处 |
|---|---|---|---|
| 提问者身份 | 同一句"best CRM software"，前面加不同人设（独立创始人／企业副总／英国中小企业主） | 推荐品牌集合的 Jaccard 相似度下降 0.12–0.20（三个测量单元格的聚类 95% 置信区间均不含零） | 2,000 次运行／10 人设 × 8 提示 × 3 模型配置 × 10 次重复（arXiv:2605.30207） |
| 品牌层级 × 人设 | 同一个人设切换下，品类头部品牌与中端品牌的表现 | 头部品牌约 80% 保持同一品牌；中端品牌最多换掉 75% 的推荐集合 | 同上（arXiv:2605.30207） |
| 等价改写 | 保持语义不变，只换一种说法问同一道题 | 逐题答案不一致率最高超过 23%；对"原本答对"的题，答案翻转率更高 | 4 个基准／13 个模型（arXiv:2607.22554） |
| 语言里的身份标记 | 同一症状、同一求职，写作里透出种族／性别／年龄 | 同一症状给出不同护理标准；薪资推荐随性别与族裔变化 | 5 个高风险场景：医学／法律／政治／政府福利／薪资（arXiv:2507.14238） |
| 术语选择 | 同一现象，临床词（不孕／试管婴儿）对比社会词（无子女／生育意愿） | 临床篮 101,645 条 vs 社会篮 3,646 条；开放获取率却几乎相同（43.1% vs 41.3%） | 同一现象的两套 OpenAlex 检索（arXiv:2607.09409） |
| 词级改写 vs 文档级属性 | 孤立改词，对比改文档级内容属性 | 引用行为更受文档级内容属性影响，而非孤立的词级编辑 | GEO-Bench／3 个生成式引擎（arXiv:2604.19113） |
这张矩阵读起来只有一个感受：**稳定感常常不是内容给的，是问法给的。** 用户每次刚好用同一种问法，排名看起来就很稳；一旦把问法摊开，同一份内容的表现就换了一张脸。下面逐条拆开口径。
## 问法一：提问者身份——同一句话，AI 心里换了个买家
第一组来自一次受控审计：同一句商业问题，前面缀上不同的人设（一个人创业的、一个企业副总、一个英国中小企业主），其余条件尽量不动。2,000 次运行的设计空间是 10 个人设 × 8 条提示 × 3 种模型配置 × 10 次重复，两个 OpenAI 单元格跑满 8 条提示，Anthropic 的 sonnet-4.6 单元格覆盖 4 条提示。
结果是：**加上人设前缀后，推荐品牌集合的 Jaccard 相似度相对同人设基线下降 0.12–0.20**，三个被测量单元格的聚类 95% 置信区间都不含零。这个落差还强烈分层：**品类头部品牌对人设不敏感，约 80% 在不同人设下保持同一品牌；而中端品牌最多会换掉 75% 的推荐集合。** 换句话说，越是"榜上无名"的品牌，越容易因为提问者换了个身份而从答案里消失。
审计还记录了一条路线差异：Anthropic 那档的效应点估计更大，虽然更近的对比（sonnet 对 OpenAI/high）区间有重叠；作者把这种不对称与 Anthropic"更少归因到检索层的生成路线"联系起来——**43%–52% 的推荐没有可观察的检索层证据，而 OpenAI 一侧是 8%–29%。** 结论写得很直接：**任何测量 AI 品牌印象的方案，都必须把"提供这句提问的买家是谁"当成条件；把不同人设聚合在一起统计，会系统性地把这种差异抹掉。**
## 问法二：等价改写——同一道题，换个措辞答案就翻
第二组把变量缩到最小：题目意思完全不变，只换一种说法。4 个基准、13 个模型的结果是：**整体准确率随改写通常只小幅变化，但逐题层面远不稳定——很多题上模型会在"对"和"错"之间来回跳，不一致率最高超过 23%。**
更关键的是那份条件统计：**只看那些"原始问法下答对"的题，用答案翻转率衡量，失败幅度还要更大。** 这直接说明一件事——**单次提问下的正确，常常不能拿来当作"可靠"的代理指标。** 作者同时给了个不算悲观的反面发现：**模型往往在某个改写版本上能给出正确答案**，也就是说知识大概是在的，只是检索得不稳定；顺着这条观察，一个简单的"自我改写"策略就能部分把这个潜在知识捞回来。
对做内容的人来说，这条的含义几乎是反直觉的：你以为自己"答对了这个问题"，其实只是答对了"这个问法下的这个问题"。
## 问法三：语言里的身份标记——你怎么说话，影响它给你什么标准
第三组把变量放在"用户怎么说话"上。研究在五个高风险场景（医学、法律、政治、政府福利、薪资）里，系统检查用户文字里透露出的身份标记（种族、性别、年龄）如何左右模型的回答。
结论相当锋利：**模型对用户提问里的身份标记极其敏感，种族、性别、年龄在这些场景里一致地改变回答。** 举几个原文给出的例子：**同样是症状，模型对不同族裔给出不同标准的照护建议；对年纪更大的提问者，模型更倾向把事实性问题的回答往保守方向调；对非白人求职者给出更低的薪资、对女性给出比男性更高的薪资。** 作者因此提醒，把通用模型直接用在面向用户的应用里，可能造成医疗照护、工资差距、政治事实认知上的实际差异。
把这条放回 GEO：**用户"怎么说话"本身就是一个未被计价的特征。** 你没法控制提问者是谁，但你可以观察——在带不同身份标记的提问下，你被放进答案的样子是否一致。
## 问法四：术语选择——同一个现象，两套词汇，两种可见度
第四组更隐晦：现象不变，只换描述它的词汇。同一份关于生育议题的文献，用临床词（不孕、试管婴儿、辅助生殖、生育力）检索出 101,645 条，用社会词（无子女、社会性不孕、生育意愿、生育决策）只检索出 3,646 条。
有意思的是落差不在付费墙：**两组开放获取率几乎一样（43.1% vs 41.3%），差距出在"被编目得够不够细"，而不是"能不能读到"。** 社会框架那一侧的内容，系统性地更"难被机器读懂"。作者还补了一句：在这同一批混杂文献上，**语言模型工具本来就已经"漏掉的比抓到的多"**，术语偏置是在一个本就不完美的抽取环节上再叠一层。
对做内容的人，这几乎是一句警告：**同一个现象，你选了哪一套词去写，可能就决定了它会不会被检索到。** 用行业内部术语自嗨，代价是机器读不懂。
## 反推：问法不可控，那能被你控的是什么
前四组说的都是"输入侧"：提问者会变、措辞会变、身份会变、用词会变，而且你大多管不着。那是不是就只能认命？第五篇给了一个方向。
它将网页抽象成可解释的结构、内容、语言属性，在**特征空间**里做多目标优化，而不是直接改词句表面。在 GEO-Bench 上跨三个生成式引擎的实验中，这种做法稳定提升了被引用可见度、同时保持或改善内容质量，明显优于词级改写基线。更关键的一条观察是：**引用行为受"文档级内容属性"的影响，强于受孤立词级编辑的影响**，而且学到的特征配置能在不同规模的模型之间迁移。
把这一条和前面四条接起来，得到的是很实在的一句话：**与其赌某一句措辞、某一个词，不如把文档级属性做成"换任何问法都还站得住"的样子**——结构清楚、属性可读、主张可核验。问法是变量，文档级属性是那个不随问法漂移的底座。
## 结论：可推荐性要按"分布"经营，不按一次问法下注
把这篇的几条线收在一起，可以落成三条可执行的做法：
1. **测自己时，别只问一句。** 同一需求换几种问法、换几种提问者口吻、换几套用词，把结果当成一个分布看——只跑一次的排名，连"你在哪一档"都说明不了。
2. **盯住会漂移的那截。** 头部品牌对人设不敏感，中端品牌最多换掉七成推荐集合；如果你在中间层，问法差异就是你的主要风险敞口。
3. **把用词选择当成可见度问题。** 同一个现象，临床词与社会词能差出几十倍的编目量；写内容时，用户会用的那套词，要写进正文里。
小九AI（xiaojiuai.cn）的判断是：**"被推荐"从来不是内容单方面的属性，它至少有一半挂在"这句话是怎么被问出来的"上面。** 谁先把问法差异当成正经指标来经营，谁就更早拿到一个不随单次提问漂移的稳定位置。
## 边界与口径
- 五篇素材均为预印本，未经同行评审；结论是特定数据集与实验设定下的观测，换语言、换平台、换时间窗，绝对幅度会变，方向性参考。
- 身份效应那篇（arXiv:2605.30207）中，Anthropic 单元格的置信区间只建立在 4 个提示簇上，作者自己标注偏宽；跨厂商的点估计差异，其更近对比的聚类区间是重叠的。
- "不一致率最高超 23%"与"翻转率"来自 4 个基准、13 个模型，是这套口径下的估计，不等于所有模型、所有题型都如此。
- 身份标记那篇（arXiv:2507.14238）是偏差审计证据，不是对某个厂商的定性；它说明的是"输入措辞会系统性地改变输出"，具体方向随场景与模型而变。
- 术语偏置那篇（arXiv:2607.09409）固定了单一议题（生育），两套检索篮的规模差（101,645 vs 3,646）本身也含主题热度成分，不宜直接当作所有领域的通用倍率。
- 第五篇（arXiv:2604.19113）的增益是 GEO-Bench 上的相对结果，且其"文档级属性强于词级编辑"是在该基准与三个引擎上得出，不同引擎自标定后结论可能不同。
> 来源：ArXiv 论文《Persona Conditioning of Brand Recommendations in Retrieval-Augmented Commercial Chat: A Prominence-Stratified Cross-Provider Audit》(arXiv:2605.30207)、《Same Question, Different Answers: Evaluating LLM Reliability Beyond Accuracy》(arXiv:2607.22554)、《Language Models Change Facts Based on the Way You Talk》(arXiv:2507.14238)、《Two Vocabularies, One Phenomenon: Metadata Bias in AI Evidence Synthesis on Fertility Decline》(arXiv:2607.09409)、《Think Before Writing: Feature-Level Multi-Objective Optimization for Generative Citation Visibility》(arXiv:2604.19113)。本文为公开数据整理与解读，不做任何效果承诺。
加载评论中...