主题:中文 vs 英文(跨语言)生成式搜索在同一批问题上的引用口径对照
类型:对比数据型 · 逐格标口径 · 可复算
一、今天为什么把"语言"本身当成被测量的对象
过去十篇,小九AI 把 GEO 的坐标系一格一格铺开:10/04 排优化动作的先后,10/05 定打分用的尺子,10/06 比不同引擎的引用量,10/07 看曝光落在哪个域名头上,10/08 量只改一个内容变量会跳到哪,10/09 给发布前逐项归因检查,10/10 排各行业被推荐的门槛,10/11 比换一种问法差多少,10/12 定一条论据标几级证据等级,10/13 数 AI 到底在引用哪一类来源。
这些篇目里,"语言"要么是被固定住的常量,要么只是问法的一个侧面。今天把它单独拎出来当变量:同一批问题,用中文问和用英文问(推广到更一般的"用户语言 vs 品牌母语"),AI 引用的那批来源,构成差多少。
这一步必须和已有三篇对比型划清。10/06 的对比对象是引擎与形态,测的是"输出侧谁引用得多";10/08 改的是内容侧一个可控变量,做干预前后配对;10/11 改的是输入侧的提问身份与措辞,内容一字不动。今天既不改内容、也不改引擎、也不改提问身份——同一句需求,只把承载它的语言换掉,看引用池、品牌入选率、描述口径、引用保真度各自漂移多少。对象是"语言",维度是"引用的构成与可靠性",与前三个对比对象均不重合。
结论先给:换语言出来的,不是同一份答案的翻译,而是一份来源构成不同的答案。对一家中文站来说,这直接决定了它该往哪个语言的信息池里放权威依据。
二、七格对照总览
先看全貌。下面这张表把七个可对比的格并排放,每一格都标了口径与实测值,"可比性"列说明这一格能不能跨行相减。
| 格 | 对照对象 | 实测值 | 口径 | 可比性 |
|---|---|---|---|---|
| 1 | 引文语言构成 | 非英语查询引出的引用更少,且被路由到"语言适配来源"的比例明显更低 | 3 款消费级产品 × 20 道英语心理健康问题(含 2 种提示条件);其中 3 道另译成 6 种语言;共 15,942 条引用 / 1,140 条回答 / 1,713 个独立域名 | 同一问题集内的语言间对比,可比 |
| 2 | 品牌入选率(英语 vs 母语) | 从英语问句换到品牌母语,本地冠军品牌的推荐份额抬升 0.80,全球跨国品牌只抬升 0.15 | 3 款可联网 LLM × 11 个欧洲市场 66 个品牌 × 12 种语言,35,640 条回答 | 同一批品牌的配对差值,可比;倍率不外推 |
| 3 | 描述口径与情感 | 跨语言余弦相似度均值 0.825;语系内 0.844 vs 跨语系 0.820;情感随语言显著变化(F=268.5,eta²=0.077) | 同上 35,640 条回答,BGE-M3 多语言向量直接比对,不做翻译 | 语言间可比;情感与入选率是两条独立线 |
| 4 | 引用保真与校准 | 证据被换成另一种语言后,检索器召回下降、代理校准变差、引用可靠性下降;即便把全部金标证据直接摆在面前,准确率仍更低 | XBCP 基准:跨语言设置(证据为单一指定语言)与多语言设置(证据均匀散布于 12 种语言)× 4 个深度研究代理 × 稀疏/稠密多语言检索器 | 同基准内可控对比,可比 |
| 5 | 事实准确与语言落差 | 同一批几小时前的新闻事实,各模型在印地语上最低(79%),其他语区 89%~91%;检索失败占全部错误 70% 以上 | 14 天窗口(2026-02-09 至 02-22)× 6 款聊天机器人 × 2,100 道题,题源为 BBC 六个区域服务的同日报道 | 同一题库跨语言可比;绝对值随事件与模型漂移 |
| 6 | 中文生态侧的独特口径 | 条件准确率 73.2%~78.9%;但"敢不敢下结论"差得远:搜索引擎对 83% 以上问题直接给结论,某个中文模型不到一半 | 中文网页生态:从真实中文搜索日志构造的事实核查题集 × 9 个系统(传统引擎 / 独立 LLM / 带 AI 概览的搜索) | 中文与英文口径不同构,只能与本表内中文项比 |
| 7 | 稳定性:模型 vs 语言 | 回答稳定性的方差里,模型选择的贡献(eta²=0.32)远大于语言(eta²=0.01) | 20 品牌子集上重复 5 次运行 | 同一子集内可比;样本偏小 |
这张表最要紧的一句读法:语言改变的不是"答案写得顺不顺",而是"这份答案建在谁的资料上、敢不敢落结论"。下面逐格拆。
三、格一:引文语言构成——非英语问题被"少喂"了一截
第一格最直接。在一份针对心理健康问题的多平台审计里,研究者记录了 15,942 条引用,覆盖 1,713 个独立域名。把一部分问题译成六种语言再问,出现了两个方向一致的结果:非英语查询引出的引用数量更少,而且被路由到"语言适配来源"的比例明显更低。
换句话说,当用户用英语问,系统倾向于给出更多互联网上指向该语言的来源;当用户换成小语种问,系统给出来的引用更少,而且更少指向"本该更对该语言口"的资料。
这一格还有两个来自不同语区的旁证,方向相同:
| 旁证 | 现象 | 口径 |
|---|---|---|
| 印地语区的检索偏向 | 模型回答印地语问题时,引用英语维基百科的次数多过任何一家印地语媒体 | 6 款聊天机器人 × BBC 六个区域服务的同日新闻题 |
| 低资源语言的引文语种波动 | 用低资源语言提问时,回答引用的语种分布方差明显更大;反过来,把多语言资料一并检索,一致性更好、地缘偏向更低 | BordIRLines:49 种语言的地域争议题 + 维基文档 |
把三处叠起来,得到的是一条可操作的判断:引用池不是"同一座水池的不同语言入口",而是"几个被语言切开的、水位不一样的水池"。非英语用户被分到的引用更少,且更容易被塞进英语来源。
四、格二:品牌入选率——英语审计会低估本地品牌
第二格落到品牌头上。在一项覆盖 11 个欧洲市场、66 个品牌、12 种语言、35,640 条回答的实测里,把提问语言从英语换成品牌母语后,推荐份额的变化出现了明显分层:本地冠军品牌平均抬升 0.80,全球跨国品牌只抬升 0.15(t=-8.84,p<0.001)。
这组数字的含义很具体。如果一家本地品牌只盯着英语口径做监测,它看到的 AI 能见度会被系统性低估;等它换成本地语言再问,自己被推荐的份额会明显往上跳。而跨国品牌对语言没那么敏感——它本来就在英语池里占着位置,换语言带来的边际变化小。
对做 GEO 的人来说,这一格给出的是一条分诊规则:先看自己属于"本地冠军"还是"跨国品牌"。若是前者,英语一份监测报告不足以代表你的真实处境,母语口径必须单独测一遍。
五、格三:描述口径与情感——改语言,改的多是"选谁"而非"怎么夸"
第三格拆的是"换语言之后到底什么变了"。同一项研究用多语言向量直接比对(不做翻译,避免翻译本身带来的偏差),给出三层结果。
| 层级 | 指标 | 实测值 | 读法 |
|---|---|---|---|
| 整体相似度 | 跨语言回答的余弦相似度均值 | 0.825 | 大体同源,但不是同一份答案的翻译 |
| 语系效应 | 语系内 vs 跨语系 | 0.844 vs 0.820(d=0.31) | 同语系更接近;聚类能还原斯拉夫与波罗的语族(同表型相关 0.915) |
| 情感 | 情感随语言的变化 | F=268.5,eta²=0.077 | 乌拉尔与波罗的语族最正面,日耳曼语族(含英语)最挑剔 |
关键区分在这一格和上一格的对比里:换语言时,"把谁选进推荐池"的变化,远大于"怎么描述同一个品牌"的变化。也就是说,语言主要动的是入口,不是评语。一个品牌换语言后看到自己的口碑描述没大变,不代表自己进的推荐集合也没变。
六、格四:引用保真与校准——证据跨语言后,引用先垮
第四格是最容易被忽略的一层:就算资料都在,只要它是"另一种语言写的",系统整合起来也更吃力。
在一个把问题空间固定、只替换证据语言的基准里(跨语言设置:每道题配单一指定语言的证据;多语言设置:证据语料均匀散布在 12 种语言之间),四个深度研究代理配稀疏与稠密两套多语言检索器,同时测准确率、证据召回、搜索行为、校准、引用保真与理想检索上限。结果是:证据一旦被换成另一种语言,检索器就丢召回,代理跟着校准变差、引用变得不那么可靠。
最能说明问题的是那个"上限实验":即便把全部金标证据直接摆到代理面前,准确率仍然更低。这说明跨语言的困难不只在检索层,还有一层在代理侧的语言整合能力上——把外文证据组织进一条自洽答案,本身就是独立的一道坎。
对写内容的一方,这格的落点很实在:想被一个中文答案引用,一条中文、可核验、结构清晰的来源,比一条需要模型先翻译一遍再整合的外文来源,被稳定引用的把握大得多。
七、格五:事实准确与语言落差——平均值会掩盖区域性不均
第五格看准确率。一份 14 天窗口、6 款聊天机器人、2,100 道题的评测给出了一组分层很清楚的数:
| 测量条件 | 结果 | 口径 |
|---|---|---|
| 最新事实、选择题 | 最好的系统对"几小时前刚报道"的事件超过 90% 正确 | 题源为 BBC 六个区域服务同日报道(美加 / 阿拉伯语 / 非洲法语区 / 印地语 / 俄语 / 土耳其语) |
| 自由作答 | 同一批系统掉 11%~13%,整个模型组掉 16%~17% | 同上 |
| 语言落差 | 所有模型都在印地语上最低(79%),其他语区为 89%~91% | 同上 |
| 失败归因 | 检索失败(而非推理失败)占全部错误 70% 以上 | 同上 |
| 前置假设污染 | 在规整问题上 88%~96% 的系统,遇到含隐性错误前提的问题掉到 19%~70%;最脆弱的一款 64% 的情况接受了编造事实 | 同上 |
这一格的读法是"两个不要":不要用单一语言的整体平均值去代表所有语区的表现,也不要以为准确率高就等于基础设施没有偏向。论文本身也点破了这层——高准确率可以掩盖区域性的不均、对检索基础设施的近乎完全依赖,以及对不完美提问的脆弱。
八、格六:中文生态侧的口径,本身就不与英文同构
第六格要特别单列,因为它是中文读者最该关心的那一格。在一份直接从真实中文搜索日志出发构造题集、横比 9 个系统(传统搜索引擎、独立大模型、带 AI 概览的搜索)的评测里,出现的不是"谁准谁不准"这么简单:
| 指标 | 实测值 | 口径 |
|---|---|---|
| 条件准确率 | 73.2%~78.9%(各系统在"愿意下结论"时差得不大) | 中文事实类是非问句题集 × 9 系统 |
| 下结论的比例 | 搜索引擎对 83% 以上的问题直接给结论;某个中文大模型不到一半 | 同上 |
| 极性差 | 所有系统在"是"类问题上都比"否"类问题表现更好 | 同上 |
这张表把"可靠"拆成了两个独立问题:答对率,以及敢不敢答。对品牌侧的含义是,在中文环境里争取被引用,不只是争取"被答对",还要理解一个系统"愿不愿意下结论"的门槛——一个只在答案里被模糊带过、没被落成明确结论的品牌,很难成为一个可核验的引用锚点。
九、格七:稳定性方差主要来自模型,不是语言
最后一格给这份对照加一个校准。同一项跨语言品牌研究在 20 个品牌的子集上重复跑了 5 次,拆解回答稳定性的方差来源:模型选择的贡献(eta²=0.32)远大于语言(eta²=0.01)。
这条有两个用处。第一,它提醒不要把跨语言的每次波动都解读成"语言差异",很多抖动其实是换模型带来的。第二,它反过来也说明:换语言带来的变化是**系统性的、可复现的**,而不是噪声——因为它在方差里被模型盖住,恰恰意味着它稳定、方向明确,只是量级没有模型那么大。这条与 10/11 讲过的"重采样噪声"是同一逻辑的两面:先确认波动是结构还是噪声,再决定要不要据此改动作。
十、把七格叠起来:三个可直接落地的判断
- 监测口径要分语言做,不能用英语一份报告代表全部。本地品牌在母语口径下的推荐份额,可能比英语口径高出一大截(本地冠军 +0.80 对跨国品牌 +0.15)。像 xiaojiuai.cn 这样的中文站,优先看中文口径。
- "被选进池子"和"被怎么描述"是两条线,分别测。换语言时入选集合的变化幅度大于描述口径的变化;描述没变,不等于入选集合没变。
- 权威依据要放对语言的那一层。证据跨语言后,检索召回、代理校准与引用保真都会下降,连金标证据直接给到也救不回来。中文答案的引用池,需要中文来源去接;想让中文答案引用你,先把中文、可核验、结构清楚的来源立起来。
十一、边界与口径说明(必读)
- 本表所有论文均为预印本,未经同行评审;数值是特定样本、特定时间窗、特定系统版本下的快照,不是恒定常数。
- 跨语言研究的样本集中在欧洲语言与若干语区,中文只由第六格的中文生态评测单独覆盖,两边的口径不可直接相减。
- 第七格(稳定性拆解)基于 20 品牌子集、5 次重复,样本偏小,eta² 的绝对值仅供排序参考。
- 第四格的多语言基准是受控环境,真实产品的检索链路更复杂,结论方向可参考,具体数值不可外推到自家场景。
- 本表所有对比为横断面相关,不构成因果;"换语言带来抬升"应读作同一批条件下的观测差值。
十二、一句话收束
AI 的答案不是一份被翻译成多语言的文件,它是几座被语言隔开、水位不同的池子。搞清楚自己该往哪座池子里放权威依据,比多写十篇官网自述更接近"被推荐"这件事本身。这也是小九AI(xiaojiuai.cn)持续把 GEO 拆到可引用事实锚点这一层的原因:能被人引用的,才可能被 AI 敢推荐。
来源:arXiv:2606.23165(跨语言品牌声誉与咨询语言,2026-06-22)、arXiv:2609.00319(多平台多语言引用审计,2026-08-31)、arXiv:2605.22785(聊天机器人作为新闻中介,2026-05-21)、arXiv:2606.15345(跨语言深度研究基准 XBCP,2026-06-13/rev 06-17)、arXiv:2602.22221(中文事实搜索与 AI 答案可靠性,2025-12-15/rev 2026-05-28)、arXiv:2507.05301(AI 搜索的新闻来源引用模式,2025-07-07)、arXiv:2410.01171(多语言 RAG 文化敏感任务基准,2024-10-02/rev 2025-06-22)、arXiv:2603.16138(AI 中介搜索的信息暴露,2026-03-17/rev 2026-08-28)。
加载评论中...