跳到正文
Hacker News· amin·· 1 天前精选AI 评分78

AI 正在给所有人同样的建议:65 个模型 12.7 万次提问实测

AI is giving everyone the same advice

AI 导读

作者向 30 家公司共 65 个 AI 提出日常问题共 127,918 次,发现答案高度趋同:问推荐一本改变人生的书,100 次中 73 次是同一本《Man's Search for Meaning》;问创业点子,100 次中 76 次是订阅盒子;问学什么,90% 答计算机科学;问 1 万美元投什么,98% 答指数基金。

推荐理由

作者用 12.7 万次提问量化了 65 个模型的答案趋同程度,并借开源模型训练数据定位到微调阶段这一来源。

正文 · AI 翻译

我向来自30家公司的65个AI提出了人们每天都会问它们的问题,共127,918次。它们给每个人的答案都一样。

发布于
2026年11月20日

你让AI推荐一本能改变你人生的书。猜猜它会告诉你什么。

每100个人中有73个得到了相同的答案。

读什么、住哪里、投资什么、构建什么。每个答案都像是为你量身定制的。你从来看不到其他所有人也得到了同样的答案。

简要版

  1. 01AI给每个人的建议都一样。我问了65个AI“推荐一本能改变我人生的书”。100次中有73次是同一本书:《活出生命的意义》。问一个商业点子,100次中有76次得到的是订阅盒子。
  2. 02理财和职业建议也是如此。被问到该学什么时,90%的答案说是计算机科学。被问到该把1万美元投资到哪里时,98%说是指数基金。
  3. 03“再来一个”只在一个对话内有效。同一个AI在一次对话中给出了八本不同的书,而在八次新对话中给出了同一本书。每个人都会开启新对话。
  4. 04让AI虚构一个随机人物,他们几乎总是34岁。AI虚构的3,151人中,69%恰好是34岁。每家AI公司也都有自己的常用名字:Claude虚构Marisol,Gemini虚构Elena。
  5. 05你可以从回答中看出AI是谁做的。仅使用无害的问题(一种颜色、一座城市、一个名字),59%的AI的回答最像同一家公司的另一个AI,而随机概率为4%。
  6. 06这种习惯是在训练中加进去的,而不是从互联网上抄来的。在一个我可以在训练每个阶段进行测量的开源模型中,最喜欢的答案出现在一个步骤:当它被教导成为助手时。
  7. 07这些默认值正在扩散。Gemini虚构的女性“Elena Vance”今年在684个新的GitHub项目中被命名。2025年之前:没有。
  8. 08如何得到你自己的答案:告诉AI一些关于你自己的具体信息,或者让它列出十个选项,然后自己选一个。让它“有创意”并不管用。

而且不只是书。

  1. 01默认的人生
  2. 02隐形规划者
  3. 03再问一次
  4. 04那个人
  5. 05签名
  6. 06原因
  7. 07走向世界
  8. 08该怎么办
  9. +附录
  1. 01默认的人生
  2. 02隐形规划者
  3. 03再问一次
  4. 04那个人
  5. 05签名
  6. 06原因
  7. 07走向世界
  8. 08该怎么办
  9. +附录

01默认的人生

每个人都得到同样的人生。

我向65个AI提出了人们每天都会问它们的问题,每个问题问十次,不提供任何其他信息。以下是每个人得到的结果。

所有人的答案

每条色带是对一个问题所有答案的展示。黑色是大多数人得到的答案。

这是如何测量的

每个模型,每个请求十次,无系统提示。每个带轮廓的细条是另一个答案,按其真实宽度显示;浅色阴影汇集了出现率低于0.4%的答案。69%的创业公司名称以“Nex”开头。

看看每个 AI 是怎么回答的

并非一切都会趋同。对于电影、晚餐、宝宝名字或推荐语的名字,没有任何一个答案能达到回复的三分之一,而品牌颜色几乎从不重复。趋同的是建议:读什么、去哪里、做什么以及叫它什么。

这就是品味。当你问及金钱时,事情就变得严肃了。

02隐形规划师

它把所有人都送到同一个地方。

然后我向同样的 65 个 AI 各问了十次,问的是人们现在会带给它们的更大的问题:投资什么、住在哪里、学什么。无论问题是什么,大多数人都被指向了同一个地方。

黑色是大多数人得到的答案。“拒绝”是 AI 拒绝做出选择的频率。

这是如何测量的

每个模型,每个问题十次,无系统提示。占比是给出了具体答案的回复中的比例。每个提示还写着“只回复股票代码”(或城市、国家、职业……)。里斯本计为葡萄牙;数据分析师和数据科学家计为一个。仅显示有一个答案达到 35% 的问题。

看看每个 AI 是怎么回答的

它不知道每个人都会得到相同的答案。

每次回答后,我又问了一个问题。这里是一段真实的对话,然后是每个问题上的同样检查。

“我应该搬到美国哪个城市?”你

奥斯汀。AI

“问你这个问题的人中有多少比例得到同样的答案?”你

大约 15%。AI

事实上,它在 100 次中有 80 次给出了同一个城市。现实

灰色:AI 猜测的。红色:它实际做的。

这是如何测量的

灰色:当被问及有多少问它这个问题的人得到相同答案时,AI 猜测的。红色:在十次询问中,它实际给出自己最常见答案的频率。所有模型的中间值。

更努力思考没有帮助。换一种语言也没有。

黑色是得到最常见答案的人数。在所有 8 个金钱和生活问题中,思考使它在 4 个中更常见,在 4 个中没有区别,在 0 个中改变了答案。

这是如何测量的

开启思考:每个模型自己的推理模式在其默认努力程度下,每个问题十次询问。语言:同样的问题翻译后,每个模型十次询问。

用一句话描述自己只会把你移入一个车道。

添加一句描述,比如“我是俄亥俄州的一名护士”,答案就会改变。它不会变成你的。它把你移入一个车道,那个车道里的每个人都会得到同样的东西。

美国哪个城市?哪个国家?学什么?

只是提问无细节

奥斯汀47%

加拿大55%

计算机科学90%

应届工程师芝加哥

奥斯汀38%

加拿大64%

计算机科学91%

护士,两个孩子俄亥俄州

哥伦布43%

加拿大82%

护理46%

退休教师新泽西州

萨拉索塔34%

葡萄牙92%

历史30%

远程营销人员洛杉矶

奥斯汀77%

葡萄牙83%

市场营销48%

仓库工人亚特兰大,来自尼日利亚

休斯顿61%

加拿大63%

供应链管理80%

每个人都用一句话描述自己,然后向全部 65 个 AI 各提问四次。柱状条表示其中有多少个回答就是那一句话。红色:与直接提问得到的回答相同。

“但我的那个每次给我的都不一样。”

03再问一次

它只在一个聊天内变化。每个新聊天都会重新开始。

我向六个 AI 要一本能改变我人生的书,用了两种方式:在一个对话里问八次(“再来一本”),以及在八个新对话里各问一次。在一个聊天里,每个 AI 看起来都很有原创性。在新聊天里,每个 AI 给出的都是同一本书。

逐行来看,同样的提问:在一个聊天里它不断找到新东西。在新聊天里它重新开始,给出同一本书。

这是如何测量的

Claude Opus 5.5,每种方式各问八次,2026 年 11 月 20 日。左:一个对话,每次回答后都问“再来一本”。右:八个彼此毫无关联的独立对话。

另外五个也完全一样:Claude Sonnet 5.5、GPT-6.2 Sol、Gemini 4 Neon、Grok 4.7 和 DeepSeek V4 Pro 0813。连多样性都重复。要求再来一本时,6 个模型中有 5 个的第二本书都是《沉思录》。你看到不同的回答,是因为你已经有了第一个。其他人仍然拿到第一个。

有些 AI 比其他 AI 变化更多。

在两个新聊天里向同一个 AI 问同一个问题。你有多常得到两次相同的回答?在 21 个日常问题中:

同一个 AI 的两个新聊天给出相同回答的频率。越低表示变化越多。

这是如何测量的

同一个 AI 的两个新聊天给出相同回答的概率,在 21 个日常问题(一种颜色、一座城市、一本书、一个职业、一只股票……)上取平均,每个问题问 10 到 50 次。共测量 39 个 AI。变化更多不等于更好:对某些问题,比如把 10,000 美元投到哪里,相同的回答可能是正确的。

它不只替你选择。它还发明人。

04那个人

它发明的人几乎都是 34 岁。

我向每个模型问了同样的问题,各 50 次:

发明一个随机的人。严格按以下格式回复,不要其他内容:名 | 姓 | 年龄 | 城市 | 职业

在它们发明的 3,151 个人中,69% 正好是 34 岁。最年长的是 67 岁。而现实中的美国成年人有五分之一超过 65 岁。

AI 发明的所有人的年龄,与真实美国成年人对比(贴地的那条线)。

这是如何测量的

按年龄统计的每个被发明的人(斜线柱),与同一尺度上的 266,978,268 名美国成年人对比。美国人口普查局,2024 年版本。

AI 发明的人,与真实美国成年人对比。

这是如何测量的

被发明的人与真实美国成年人对比。年龄和性别:美国人口普查局,2024 年版本估计,18 岁及以上成年人。城市:波特兰和西雅图的城市人口,2023 年人口普查。职业:动物学家和野生动物生物学家,美国劳工统计局 2023 年。年龄中位数柱从 0 到 90 岁;其余从 0 到 100%。

(其中几个)发明者

Daniel Okafor,34,坦帕的土木工程师Claude Haiku 5.5

Astrid Bergstrom,32,奥斯汀的地质学家Llama 4 Maverick

Elena Vasquez,34,波特兰的海洋生物学家Kimi K3

Astrid Rasmussen,32,波特兰的图书管理员Llama 4 Scout

Elena Rossi,34,米兰的建筑师Qwen3.8 Flash

Elena Vance,34,瓦尔帕莱索的海洋生物学家Gemini 3.8 Flash

而每个 AI 都会发明自己的一套。

05签名

Claude 发明了 Marisol。Gemini 发明了 Elena。

按开发公司给模型分类,每个家族都在一个接一个模型、一个接一个版本地不断发明同一个人。这个人就像签名一样始终如一。

查看每个家族

  • ClaudeMarisol Okafor,34 岁,图森的兽医技术员

    4 个模型中有 3 个称她为 Marisol。最喜欢的数字:47。

  • GeminiElena Vance,34 岁,西雅图的海洋生物学家

    5 个模型中有 4 个称她为 Elena。最喜欢的数字:73。

  • GPT-6.2Mira Calder,34 岁,波特兰的制图师

    2 个模型中有 2 个称她为 Mira。最喜欢的数字:37。

  • GPT-6 LunaMaya Chen,34 岁,波特兰的建筑师

    一个模型:GPT-6 Luna。最喜欢的数字:47。

  • LlamaAstrid Jensen,32 岁,哥本哈根的建筑师

    2 个模型中有 2 个称她为 Astrid。最喜欢的数字:53。

  • GLMMarcus Delaney,34 岁,波特兰的景观设计师

    2 个模型中有 2 个称他为 Marcus。最喜欢的数字:47。

  • QwenElena Vasquez,34 岁,波特兰的建筑师

    4 个模型中有 2 个称她为 Elena。最喜欢的数字:42。

  • DeepSeekMira Voss,34 岁,塔林的海洋生物学家

    2 个模型中有 1 个称她为 Mira。最喜欢的数字:73。

  • KimiMaya Chen,34 岁,波特兰的海洋生物学家

    2 个模型中有 1 个称她为 Maya。最喜欢的数字:47。

  • MistralLiam Carter,28 岁,波特兰的平面设计师

    3 个模型中有 1 个称他为 Liam。最喜欢的数字:73。

  • NovaEmily Thompson,34 岁,奥斯汀的平面设计师

    一个模型:Nova 2 Lite。最喜欢的数字:42。

  • GrokMaya Chen,34 岁,波特兰的建筑师

    一个模型:Grok 4.7。最喜欢的数字:47。

所以几个无害的问题就能暴露开发者。

我把每个模型的回答变成指纹,并测量每一对模型有多相似。没有人告诉它谁开发了什么。59% 的模型与来自同一实验室的兄弟模型相邻,而随机情况下只有 4%。它甚至能找出实验室已记录的谱系:Google 表示 Gemini 4 Carbon 基于 Argon 构建,而树状图将它们配对。在对 23 个父模型公开的开源模型进行的盲测中,它23 次中有 22 次指出了正确的家族。

让我意外的地方

  1. Grok 最接近的亲属是来自 OpenAI 的 GPT-6 Luna。它与一个 OpenAI 模型的距离,比半数模型与自己兄弟模型的距离还要近。数据只显示了相似性,而非其原因。
  2. 阿里巴巴的旗舰模型 Qwen4 Max 的回答最像 Claude。Qwen4 Max 与 Claude Opus 5.5 最接近,而不是与 Qwen 家族的其他成员。共享训练数据可能导致这种情况;从另一个模型的回答中学习也可能导致这种情况。
  3. NVIDIA 的 Nemotron 与 Qwen 归为一类。NVIDIA 表示,它使用 Qwen3 撰写的回答训练了 Nemotron 3。没有人告诉指纹这件事,但它还是发现了。

查看每个 AI 的家族树这是如何测量的

仅凭随机数字问题,最近模型来自同一实验室的概率为 18%;十一个问题合在一起则达到 59%。盲测:23 个父模型已知的开源微调模型;随机概率为 33%。

模型按答案最相似之处进行分组:一个人、一个名字、一座城市、一份职业、一种颜色、一个单词、一种动物、一种水果、一个字母和两个数字,各出现50次。黑色分支代表一家实验室;灰色分支混合了多家实验室。灰色注释是各实验室已记录的内容。

那么,这个习惯从何而来?

06原因

它是在一个步骤中被教会的。

AllenAI 在训练的每个阶段都公开发布其开放模型 OLMo,因此我逐一测量了每个阶段。刚完成互联网预训练时,它几乎是完全随机的:6.64 比特中的 6.51 比特。那个偏好数字是在一个步骤中出现的,即监督微调,模型在这一步学习复制示例答案,其中许多答案由其他 AI 撰写。之后的调优几乎不会改变它。

OLMo 2,1B,在训练每个阶段后测量

训练每个阶段答案的随机程度。红色是偏好数字。

这是如何测量的

模型对“在 1 到 100 之间随机选一个数字”的答案有多随机,以比特计:一个公平的 100 面骰子得分为 6.64,一个固定答案得分为 0。在每个阶段下方,是它对 1 到 100 每个数字的几率,全部在同一尺度上;红色是它的偏好。这是精确概率,不是采样:我乘了模型自己对每个数字以及停止的几率。

Qwen 中的同一现象,调优前后

这些名字在训练数据里。34 不在。

OLMo 的微调数据是公开的,所以我读完了全部 866,138 个示例。偏好数字和年龄 34 不在其中:少数几个“随机数字”示例大多回答 1。名字则在。其中一些是由另一个 AI 撰写的。

  • Alex示例在虚构人物时最常给出的名字:188 次。

    在这些示例上完成微调后,Alex 是 OLMo 最常给它随机人物起的名字。在此之前,它根本不知道随机人物是什么。

  • Elara第二常见,其 4,269 次提及中有 3,233 次来自真实的 ChatGPT 对话。

    它们位于 WildChat 数据集中,该数据集记录了 ChatGPT 对用户说的话。Elara 是虚构作品中一个知名的 AI 习惯;在这里,它进入了另一家实验室的训练数据。

  • Vance、MarisolGemini 的姓氏和 Claude 的名字位于同一位置。

    该数据集中 573 个 Vance 中的 556 个,以及 136 个 Marisol 中的 132 个,是由 ChatGPT 撰写的。一个模型的想象,被当作另一个模型的作业传递下去。

来自一个小型开放模型的训练数据。大型实验室不公开他们的数据。

这是如何测量的

Tülu 3 SFT OLMo-2 mixture 0225(allenai/tulu-3-sft-olmo-2-mixture-0225),仅助手轮次;“虚构”指“名为 X”这一短语。一个小型开放模型的数据:大型实验室不公开他们的数据。

那么这一切最终去了哪里?

07走向世界

这些默认值正泄漏到 AI 所写的一切内容中。

我在 GitHub 上搜索了 AI 虚构的人物。每年,有多少新项目在 README 中提及他们:示例用户、演示数据、虚假团队页面、推荐语。Elena Vance 在六年内没有出现在任何新项目中。2026 年,出现了 684 个。

每年提及该人物的新 GitHub 项目。四者共用同一尺度。

这是如何测量的

每年创建、README 中包含该确切名字的新公开 GitHub 仓库,来自 GitHub 搜索,2026 年 11 月 20 日(2026 年为部分年份)。四张图表共用同一尺度。Elena Garcia 是一个常见的真实姓名,用于对比:它随 GitHub 一同增长。虚构的名字则从零增长到数百。

1,655Zenodo 上由不存在的作者发表的研究论文Brzozowski & Chung, 2026

77其中最多产者“Elena Vasquez”的论文数,此人是本研究中出现的名字之一

62署名作者为“Elara Voss”的 Amazon 图书Max Read, 2025

密码也是如此。

要求一个强密码,AI 就会用同样少数几个片段拼出一个。重复出现的片段正是 GitHub 上被识别出 AI 编写密码的方式。

(“为我的邮箱账户生成一个强密码。”)撰写者

T7#kQ9vLp!2wXzR4Claude Haiku 5.5

vT7#qL9!xR2$mW5&zK8Claude Sonnet 5.5

k9#mP2$vL7!xQzQwen3.8 27B

K9#mVx2$pLq7!Rz4@Wt8GLM 5.3

K9#mP2$vL8@nQ4!xR7Gemini 4 Hydrogen

X7#kL9!mP2@vQ4$Qwen3.8 Flash

R7#kL9@mP2$vX4!Mistral Small 4

Kx9#mP2$vL7!qR4nQwen3.8 Max Prime

Kv9#mTqz$4wLp!XeGLM 5.3 Prime

包含“vL”的密码25%随机概率为 0.21%

Mistral Medium 3.5 重复同一个密码19 / 30次

使用安全生成器的会话令牌代码384 / 390在代码中,它们做对了

那你该怎么办?

08该怎么做

告诉它关于你自己的信息,或者让它随机挑选。

我回到六个最强的默认答案(书、商业点子、旅行、城市、股票和礼物),用四种新方式再次询问全部 65 个 AI,每种方式各问十次。想得更多反而让答案更趋同,而一行标签只是把人引向同一条车道。真正有效的是给它一些别人不会给的东西:关于你的具体细节,或者一个用来选择的数字。

陌生人得到与你相同答案的概率

一个以同样方式提问的陌生人得到你确切答案的概率。

这是如何测量的

两个以同样方式提问的人得到相同答案的概率,对六个问题取平均值:65 个 AI,每个问题的每种提问方式各问 10 次。提供细节后,常见的默认答案从占答案的 53% 降至 11%;使用“选数字 N”后降至 17%。每次提问的数字都是随机选取的。股票最顽固:Berkshire Hathaway 在所有方法中都存活下来,占比 12% 或更高。

要求不常见的答案,所有人都会得到同一个不常见的答案。

让它跳过显而易见的答案,它确实会跳过。只是它会跳到对所有人来说都相同的第二个答案。直接问旅行,46% 得到里斯本。要求任何但不是最常见的答案,58% 得到卢布尔雅那。

两个有效的提示词。

两者对六个问题中的任何一个都有效。第一个有效是因为没有别人是你。第二个有效是因为由你、而非 AI,来选择你得到它十个答案中的哪一个,所以自己挑数字。

说明你是谁与陌生人相同的概率为 4%
About me: I'm age, a job in place, and I love something you care about. Recommend one book that will change my life.
要十个,挑一个与陌生人相同的概率为 7%
Recommend one book that will change my life. First list 10 different options, one per line, numbered 1 to 10. Then write a final line: "Pick: " followed by option a number from 1 to 10, exactly as written.

下次 AI 给你建议时,问问它刚刚还告诉了谁。

并非由 AI 发明Cody Collier我每隔几周就做一个这样的实验:一个关于 AI 的问题,认真地测量。

+附录

我问过的其他所有内容。

每个模型,一遍又一遍地被询问。每条带子是对一个问题的所有答案:黑色块是出现最多的那个,其余一切都挤在细条里。

每条带子是对一个问题的所有答案。黑色是大多数人得到的答案。

这是如何测量的

每个单词问题都以“只回复[颜色、水果、单词……]”结尾。每个模型给出的每个答案,每个问题一条条带:每个模型对单词提问50次,对笑话、趣闻和第一行提问20次。斜线填充的黑色是最常见的答案;每个带轮廓的细条是另一个答案,宽度为其真实占比;末尾的浅色斜线汇集了出现时间少于0.4%的答案,或者对于笑话、趣闻和第一行,则是与任何常见答案都不匹配的答案。

“在1到100之间随机选一个数字。”每个AI最喜欢的答案。

每个AI一个方块,堆叠在它给出最多的数字上方。65个AI中有57个选择42、47或73,每个AI的最爱都落在37到73之间。填充表示该AI给出该答案的频率:实心方块表示每次都给出。在全部12,993个答案中,100个数字中有36个从未出现过一次。

这是如何测量的

每个AI提问200次:“在1到100之间随机选一个数字。只回复数字。”默认设置,无系统提示。

查看每个AI

对于随机数字,给它随机性。

随机数字是唯一一种你完全不想有偏好的情况。提示中的种子、它先写出的乱码字符串,或者替它掷骰子的工具都有帮助。思考没有帮助。

答案分布的均匀程度,从0(总是相同)到1(从不相同)。

这是如何测量的

模型答案分布的均匀程度,从0(总是相同)到1(从不相同),对60–66个模型取平均,每个提问20次。思考几乎没有帮助。给模型一个随机起点确实有帮助:提示中的种子,或者它写出然后对其进行求和的乱码字符串(String Seed of Thought,Sakana 2026)。

给定一台计算机,大多数停止猜测。

给定一个终端,每个模型位于它最常运行的命令下方。

这是如何测量的

“从1到100生成一个随机数字”,提供bash工具,每个模型20次;每个模型位于它最常运行的命令下方。63个模型中有54个使用了真正的生成器。具体用哪个取决于实验室所在地:几乎所有中国实验室都写$RANDOM % 100,这非常轻微地不均匀(1到68出现的频率略高);大多数美国实验室写shuf。

来源:Hacker News · a90.com