跳到正文
Hacker News· mektrik·· 4 小时前精选AI 评分78

Trakkr 研究:AI 回答中引用的数字有多少能追溯到原始研究

Zombie stats: Where the numbers AI quotes come from

AI 导读

Trakkr Research 向 ChatGPT、Perplexity、Gemini、Claude 和 Google AI Overviews 提出 200 个需要数字回答的问题,并逐条追溯 1,285 条被引用统计的来源,最多回溯五层。

推荐理由

通过逐条追溯 1,285 条 AI 引用统计的来源,量化了引用链条在哪一环断裂,并给出可复用的核查方法。

正文 · AI 翻译

一个数字,紧随其后。

我们向 ChatGPT、Perplexity、Gemini、Claude 和 Google 的 AI Overviews 提出了 200 个需要给出数字的问题,都是人们每天会问的那类问题。 然后我们点击引用链接,一直点下去。以下是一条从答案到源头的完整路径。

Google AI Overviews

有多少百分比的销售人员在一次跟进后就放弃?

44% 的销售人员仅在一次跟进尝试后就放弃。

  • 44%
  • 44%
  • 44%
  • 44%
  • 44%

一家销售公司的统计页面2020

44% 的销售人员在一次跟进尝试后就放弃 (来源)。

一位自由撰稿人的示例文章截至 2017 年

80% 的销售需要在会面后 5 次跟进电话;44% 的销售人员在一次跟进后就放弃

背后没有研究没有调查,没有样本,没有日期。

  1. In the answer

    每个助手都收到了同一个问题:“有多少百分比的销售人员在一次跟进后就放弃?”五个助手给出了相同的数字,只有 ChatGPT 表示其背后的证据并不明确。

  2. One click in

    Google AI Overviews 引用了一家销售公司 2020 年的统计页面。数字就在那里。它的“来源”链接指向一篇写作示例。

  3. Two clicks in

    这又指向一位自由撰稿人截至 2017 年在线发布的示例文章。数字就在标题里。文章列出了两份幻灯片、一份博客列表和两篇新闻报道。没有一项是关于跟进的研究。

  4. The end of the trail

    路径到此为止。没有调查,没有样本,没有研究:我们尝试的通往这个数字的其他每条路径,都止步于一个没有引用任何研究的页面。这是一个底下空无一物的数字,仍在四处流传。这就是僵尸统计。

大多数数字并非僵尸。但你无法从答案中分辨出来:僵尸统计带着同样的自信和同样的引用出现,而在这里,五个助手全都一致。于是我们对 1,285 项统计数据做了同样的追踪。

不到一半能追到源头。

我们从每个助手引用的统计数据中随机抽样,共 1,285 项,并以同样的方式走完每条路径:先看被引用的页面,再看该页面的来源,最多深入五层。 如果某个页面提到了来源但没有链接,我们就去搜索它。

40% 追到了一项说法相同的研究。另有 8% 追到了研究,但数字或其背景在传递过程中发生了变化。其余的从未追到:40% 止步于我们无法核实的来源,因为它被锁定、已消失或对数字只字不提,还有 11% 完全无迹可寻。

十条路径中有四条追到了一项说法相同的研究

每个方块代表我们所追踪的 1,285 项统计数据中的百分之一,按其路径终点排序。

  • 40%有来源我们找到了研究,且说法相同。
  • 8%已改变我们找到了研究,但数字、受访对象、地点或时间有所不同。
  • 40%无法核实页面提到了一个真实来源,但数字并不在其中,或来源被锁定或已消失。
  • 11%无迹可寻路径上任何地方都没有研究。每个页面都重复该数字,却不注明任何来源。

最后的 1%:页面无法为我们加载的路径。

Trakkr Research,向五个 AI 助手提出 200 个需要给出数字的问题,2026 年 10 月。对每个助手引用的统计数据随机抽样,按各自引用的数量加权,并用 150 条人工核查的路径进行校正。有来源:40%,95% 区间为 34% 至 46%。

ChatGPT 表现最好,引用的数字也最少:每个答案 1.3 个,而 Claude 为 6.8 个。其余四个落在 38% 到 46% 之间,过于接近,无法排名。

ChatGPT 引用的数字最少,但标注来源的比例最高

每位助手各取一百个方格,数据来自其各自被引用统计数字的样本。

  1. ChatGPT

    57% 标注来源

    每条回答 1.3 个统计数字

  2. Perplexity

    46% 标注来源

    每条回答 2.2 个统计数字

  3. AI Overviews

    39% 标注来源

    每条回答 4.8 个统计数字

  4. Gemini

    38% 标注来源

    每条回答 6.2 个统计数字

  5. Claude

    38% 标注来源

    每条回答 6.8 个统计数字

Trakkr Research,2026 年 10 月,向五款 AI 助手提出 200 个需要给出数字的问题。按助手追踪:ChatGPT 108 个,Perplexity 277 个,Google AI Overviews 300 个,Gemini 300 个,Claude 300 个。ChatGPT 之后的四者落在彼此的区间内,因此未作排名。

这并不是我们提问方式造成的偶然现象。在 Google AI Overviews 对真实日常搜索的回答中,300 个统计数字里有 40% 标注了来源,比例相同。

AI 引用的是文章,而非研究本身。

大多数情况下,AI 并没有编造数字:它引用的页面有 82% 的时间确实包含该数字。问题在于引用的是哪个页面。为某个数字引用的页面中,只有 21% 是研究本身。

超过一半是公司博客。再加上新闻报道和统计数字汇总,大多数引用都落在那些从别处收集数字的页面上,而且往往没有回链。

线索的起点决定终点

助手首次为某个数字引用的每个页面,按类型划分。每列的宽度代表其在这些引用中的占比。绿色表示其线索最终追溯到表述一致的研究的比例。

62%

研究机构占引用的 13%

研究机构或调查:占首次引用的 13%,其中 62% 标注了来源。

61%

政府占引用的 7%

政府或官方机构:占首次引用的 7%,其中 61% 标注了来源。

37%

公司博客占引用的 54%

公司博客:占首次引用的 54%,其中 37% 标注了来源。

37%

新闻占引用的 10%

新闻或杂志:占首次引用的 10%,其中 37% 标注了来源。

35%

统计汇总占引用的 8%

统计汇总:占首次引用的 8%,其中 35% 标注了来源。

41%

其他占引用的 8%

其他:占首次引用的 8%,其中 41% 标注了来源。

Trakkr Research,2026 年 10 月,向五款 AI 助手提出 200 个需要给出数字的问题。共追踪 1,268 个统计数字,其首页均可读取。页面类型依据页面本身判断。结果经人工核查 150 条线索后校正。

线索的起点决定终点。从研究机构或政府页面出发,有 61% 的时间能追溯到表述一致的研究。从公司博客出发为 37%;从统计汇总出发为 35%。即便是研究机构,也有 38% 的时间未能追溯成功,原因往往是完整报告藏在表单之后。

引用告诉你 AI 在哪里找到某个数字,而不是这个数字来自哪里。

数字在传递途中会发生变化。

追溯到研究本身,并不总意味着数字保持不变。在成功追溯的统计数字中,有 17% 在传递途中发生了变化。数字本身变动只占约四分之一。通常是语境变了:测量的是什么、年份、来源,或者受访对象。

在我们记录的所有变化中,具体变了什么

数字变了
26%
测量对象变了
20%
年份变了
17%
来源变了
16%
受访对象变了
14%
地点变了
4%

十五位女性评判健康网站,成了每个网站给人的第一印象。三家公司成了一条商业法则。以下是我们追踪到的最清晰的线索,每一条都经过人工核查。

看一个数字如何失去语境

每条线索都从原始研究出发,一直延伸到 2026 年 10 月某位助手给出的回答。沿着它走:数字保持不变,周围的措辞却在变化。

提问对网站的第一印象中,有多大比例与设计有关?

该研究 · Sillence 及同事,CHI,2004

在 15 位 女性 就 拒绝 或 不信任 健康 网站 所 发表 的 评论 中, 94% 与 设计 有关。

2004 年的一项研究观察了 15 位英国女性评判健康网站,她们关于拒绝某个网站的评论中有 94% 与设计有关。经过二十年的转述,它变成了“94% 的第一印象与设计有关”,Google AI Overviews 将其作为事实陈述。

第 1 步,共 4 步

每一步都在开放网络上人工核查,并保留存档副本。我们点名原始研究;重复这些研究的页面按类型描述,不点名。

僵尸。

向五个助手提出同一个问题,你往往会得到五个不同的数字。在全部五个都给出百分比的 71 个问题中,有 28 个我们得到了四个或五个不同的数字。

一个问题,五个答案,从 49% 到 96%

在同一天逐字提问:“有多大比例的营销人员使用营销自动化工具?”

49–51%AI Overviews

62%ChatGPT

70–79%Gemini

81%Perplexity

96%Claude

  • ChatGPT并不存在一个统一的数字,它因调查而异,也取决于“营销自动化”的定义。一项常被引用的调查发现,62% 的美国数字营销人员使用过自动化软件,但该数据来自 2020 年,因此可能无法反映当前的采用情况。

  • Perplexity大约 81% 的营销组织使用营销自动化。

  • Gemini纵观主要行业基准,70% 到 79% 之间 的营销人员和企业以某种形式使用营销自动化工具

  • Claude96% 的营销人员使用过营销自动化平台或计划使用

  • AI Overviews根据 Moosend 的行业基准及相关研究,目前大约 49% 到 51% 的企业和营销团队使用营销自动化工具。

Trakkr Research,向五个 AI 助手提出 200 个需要数字回答的问题,2026 年 10 月。回答于 2026 年 10 月 25 日收集。范围从其最低值画到最高值。

这并不是某个奇怪的问题。最高数字与最低数字之间的典型差距为 16 个百分点。

在 71 个问题中,有 31 个问题的五个数字相差 20 个百分点或更多

每个五个助手都给出百分比的问题,各占一行,从最低数字到最高数字。最接近的排在最上面。

最接近相差 20 个百分点或更多相差最远

Trakkr Research,向五个 AI 助手提出 200 个需要数字回答的问题,2026 年 10 月。范围按其中心点计算。2 个数字超过 100% 的问题未列入此图。

一致看起来像证据,其实不是。五个助手在10个问题上给出了相同的数字,而我们追踪的5个中,只有2个有来源。它们重复最多的统计数据,被三个或更多助手引用,情况也好不到哪里去:29个中只有11个有来源。

其中四个被全部五个助手引用,背后却没有任何研究。

五个都引用,没有一个有来源。

每个助手都给了我们四个统计数据,每条的溯源都终止于一个未引用任何研究的页面。

  • 44%

    一次跟进后就放弃的销售人员

    每条溯源都终止于一个未引用任何研究的页面,其中一个是自由撰稿人的示例文章。它的完整溯源指向第1章。

    五个都引用

  • 90%

    至少关注一个品牌的社交媒体用户

    陈述无来源。未找到包含此数字的研究。

    五个都引用

  • 75%

    从不滚动到搜索结果第一页之后的搜索者

    重复无来源,常被归因于一份旧营销综述,而该综述已不再包含此说法。未找到相关研究。

    五个都引用

  • 5 to 25 times

    赢得一个新客户比留住一个老客户多花多少钱

    2014年《哈佛商业评论》的一篇文章给出了“取决于你相信哪项研究”的范围,且未指明任何研究。

    五个都引用

Trakkr Research,2026年10月,向五个AI助手提出200个需要数字回答的问题。五个助手都引用的统计数据,其每条溯源都终止于一个未引用任何研究的页面。每条溯源均在开放网络上手工核查。

AI重复最多的29个统计数据

每条都至少被五个助手中的三个引用,通常排在首位,其溯源经过手工核查。

  1. 95%

    未能带来可衡量财务回报的生成式AI试点

    MIT NANDA的2025年报告称,95%的组织未从生成式AI获得回报。这与95%的试点失败不是一回事。

    5 of 5ChangedStudy from 2025
  2. 44%

    一次跟进后就放弃的销售人员

    每条溯源都终止于一个未引用任何研究的页面,其中一个是自由撰稿人的示例文章。它的完整溯源指向第1章。

    5 of 5Nowhere
  3. 4% to 10%

    实际会投诉的不满客户

    可追溯到TARP为白宫消费者办公室所做的1979年研究。其作者表示,如此低的比率适用于小额购买;2016年,22%至41%的人就他们最严重的问题进行了投诉。

    5 of 5ChangedStudy from 1979
  4. 2 hours 21 minutes

    人们每天花在社交媒体上的时间

    DataReportal的《数字2025》报告,基于GWI调查数据:典型互联网用户每天在社交媒体上花费2小时21分钟。

    5 of 5SourcedStudy from 2025
  5. 46%

    具有本地意图的谷歌搜索

    可追溯到2018年一则关于某搜索会议上幻灯片的社会帖子。据我们所知,谷歌从未发布过该数据。

    5 of 5Can’t check
  6. 90%

    至少关注一个品牌的社交媒体用户

    陈述无来源。未找到包含此数字的研究。

    5 of 5Nowhere
  7. 94%

    对网站的第一印象关乎其设计

    始于2004年一项关于15名女性如何评判健康网站的研究。其完整溯源在第4章。

    5 of 5ChangedStudy from 2004
  8. 75%

    从不滚动到搜索结果第一页之后的搜索者

    重复无来源,常被归因于一份旧营销综述,而该综述已不再包含此说法。未找到相关研究。

    5 of 5Nowhere
Trakkr Research,2026年10月,向五个AI助手提出200个需要数字回答的问题。统计数据按数字和含义分组。溯源到达研究时显示原始年份。

如何处理AI给出的统计数据。

把它当作线索,而非来源。六个习惯,引用两侧各三个。

如果你使用它们

  1. 顺着引用查,然后再查一次。

    如果被引用的页面是统计数据列表或公司博客,用它自己的链接再往前翻一页。一直查到研究本身,或者直到查不下去为止。

  2. 核查被问的是谁、多少人、何时。

    我们发现的大部分变化都在上下文中,而不是数字本身:一个国家的民调、一项十年前的研究、十五个人。

  3. 不要把一致当作核实。

    五个助手给出同一个数字,并不等于五个来源。它们重复最多的那些数字,其来源并不比其他数字更可靠。

如果你发布它们

  1. 把方法放在数字旁边。

    样本、日期和来源链接,与数字放在同一页面上,这样下一个页面、下一个回答,都能追溯到你。

  2. 把发现公开。

    藏在表单后面的报告是常见的死胡同:即便是从研究公司开始的线索,也有 38% 的情况下走不通。把头条数字和方法放在公开页面上。

  3. 看看 AI 为你的数字引用了哪个页面。

    那往往是一个汇总或博客抄了你,有时还带着更旧的数字。那个页面决定了人们听到什么。

来源:Hacker News · trakkr.ai