Trakkr 研究:AI 回答中引用的数字有多少能追溯到原始研究
Zombie stats: Where the numbers AI quotes come from
Trakkr Research 向 ChatGPT、Perplexity、Gemini、Claude 和 Google AI Overviews 提出 200 个需要数字回答的问题,并逐条追溯 1,285 条被引用统计的来源,最多回溯五层。
通过逐条追溯 1,285 条 AI 引用统计的来源,量化了引用链条在哪一环断裂,并给出可复用的核查方法。
一个数字,紧随其后。
我们向 ChatGPT、Perplexity、Gemini、Claude 和 Google 的 AI Overviews 提出了 200 个需要给出数字的问题,都是人们每天会问的那类问题。 然后我们点击引用链接,一直点下去。以下是一条从答案到源头的完整路径。
Google AI Overviews
有多少百分比的销售人员在一次跟进后就放弃?
44% 的销售人员仅在一次跟进尝试后就放弃。
- 44%
- 44%
- 44%
- 44%
- 44%
一家销售公司的统计页面2020
44% 的销售人员在一次跟进尝试后就放弃 (来源)。
一位自由撰稿人的示例文章截至 2017 年
80% 的销售需要在会面后 5 次跟进电话;44% 的销售人员在一次跟进后就放弃
背后没有研究没有调查,没有样本,没有日期。
- In the answer
每个助手都收到了同一个问题:“有多少百分比的销售人员在一次跟进后就放弃?”五个助手给出了相同的数字,只有 ChatGPT 表示其背后的证据并不明确。
- One click in
Google AI Overviews 引用了一家销售公司 2020 年的统计页面。数字就在那里。它的“来源”链接指向一篇写作示例。
- Two clicks in
这又指向一位自由撰稿人截至 2017 年在线发布的示例文章。数字就在标题里。文章列出了两份幻灯片、一份博客列表和两篇新闻报道。没有一项是关于跟进的研究。
- The end of the trail
路径到此为止。没有调查,没有样本,没有研究:我们尝试的通往这个数字的其他每条路径,都止步于一个没有引用任何研究的页面。这是一个底下空无一物的数字,仍在四处流传。这就是僵尸统计。
大多数数字并非僵尸。但你无法从答案中分辨出来:僵尸统计带着同样的自信和同样的引用出现,而在这里,五个助手全都一致。于是我们对 1,285 项统计数据做了同样的追踪。
不到一半能追到源头。
我们从每个助手引用的统计数据中随机抽样,共 1,285 项,并以同样的方式走完每条路径:先看被引用的页面,再看该页面的来源,最多深入五层。 如果某个页面提到了来源但没有链接,我们就去搜索它。
40% 追到了一项说法相同的研究。另有 8% 追到了研究,但数字或其背景在传递过程中发生了变化。其余的从未追到:40% 止步于我们无法核实的来源,因为它被锁定、已消失或对数字只字不提,还有 11% 完全无迹可寻。
十条路径中有四条追到了一项说法相同的研究
每个方块代表我们所追踪的 1,285 项统计数据中的百分之一,按其路径终点排序。
- 40%有来源我们找到了研究,且说法相同。
- 8%已改变我们找到了研究,但数字、受访对象、地点或时间有所不同。
- 40%无法核实页面提到了一个真实来源,但数字并不在其中,或来源被锁定或已消失。
- 11%无迹可寻路径上任何地方都没有研究。每个页面都重复该数字,却不注明任何来源。
最后的 1%:页面无法为我们加载的路径。
ChatGPT 表现最好,引用的数字也最少:每个答案 1.3 个,而 Claude 为 6.8 个。其余四个落在 38% 到 46% 之间,过于接近,无法排名。
ChatGPT 引用的数字最少,但标注来源的比例最高
每位助手各取一百个方格,数据来自其各自被引用统计数字的样本。
ChatGPT
57% 标注来源
每条回答 1.3 个统计数字
Perplexity
46% 标注来源
每条回答 2.2 个统计数字
AI Overviews
39% 标注来源
每条回答 4.8 个统计数字
Gemini
38% 标注来源
每条回答 6.2 个统计数字
Claude
38% 标注来源
每条回答 6.8 个统计数字
这并不是我们提问方式造成的偶然现象。在 Google AI Overviews 对真实日常搜索的回答中,300 个统计数字里有 40% 标注了来源,比例相同。
AI 引用的是文章,而非研究本身。
大多数情况下,AI 并没有编造数字:它引用的页面有 82% 的时间确实包含该数字。问题在于引用的是哪个页面。为某个数字引用的页面中,只有 21% 是研究本身。
超过一半是公司博客。再加上新闻报道和统计数字汇总,大多数引用都落在那些从别处收集数字的页面上,而且往往没有回链。
线索的起点决定终点
助手首次为某个数字引用的每个页面,按类型划分。每列的宽度代表其在这些引用中的占比。绿色表示其线索最终追溯到表述一致的研究的比例。
62%
研究机构占引用的 13%
研究机构或调查:占首次引用的 13%,其中 62% 标注了来源。
61%
政府占引用的 7%
政府或官方机构:占首次引用的 7%,其中 61% 标注了来源。
37%
公司博客占引用的 54%
公司博客:占首次引用的 54%,其中 37% 标注了来源。
37%
新闻占引用的 10%
新闻或杂志:占首次引用的 10%,其中 37% 标注了来源。
35%
统计汇总占引用的 8%
统计汇总:占首次引用的 8%,其中 35% 标注了来源。
41%
其他占引用的 8%
其他:占首次引用的 8%,其中 41% 标注了来源。
线索的起点决定终点。从研究机构或政府页面出发,有 61% 的时间能追溯到表述一致的研究。从公司博客出发为 37%;从统计汇总出发为 35%。即便是研究机构,也有 38% 的时间未能追溯成功,原因往往是完整报告藏在表单之后。
引用告诉你 AI 在哪里找到某个数字,而不是这个数字来自哪里。
数字在传递途中会发生变化。
追溯到研究本身,并不总意味着数字保持不变。在成功追溯的统计数字中,有 17% 在传递途中发生了变化。数字本身变动只占约四分之一。通常是语境变了:测量的是什么、年份、来源,或者受访对象。
在我们记录的所有变化中,具体变了什么
- 数字变了
- 26%
- 测量对象变了
- 20%
- 年份变了
- 17%
- 来源变了
- 16%
- 受访对象变了
- 14%
- 地点变了
- 4%
十五位女性评判健康网站,成了每个网站给人的第一印象。三家公司成了一条商业法则。以下是我们追踪到的最清晰的线索,每一条都经过人工核查。
看一个数字如何失去语境
每条线索都从原始研究出发,一直延伸到 2026 年 10 月某位助手给出的回答。沿着它走:数字保持不变,周围的措辞却在变化。
提问对网站的第一印象中,有多大比例与设计有关?
该研究 · Sillence 及同事,CHI,2004
在 15 位 女性 就 拒绝 或 不信任 健康 网站 所 发表 的 评论 中, 94% 与 设计 有关。
2004 年的一项研究观察了 15 位英国女性评判健康网站,她们关于拒绝某个网站的评论中有 94% 与设计有关。经过二十年的转述,它变成了“94% 的第一印象与设计有关”,Google AI Overviews 将其作为事实陈述。
第 1 步,共 4 步
僵尸。
向五个助手提出同一个问题,你往往会得到五个不同的数字。在全部五个都给出百分比的 71 个问题中,有 28 个我们得到了四个或五个不同的数字。
一个问题,五个答案,从 49% 到 96%
在同一天逐字提问:“有多大比例的营销人员使用营销自动化工具?”
49–51%AI Overviews
62%ChatGPT
70–79%Gemini
81%Perplexity
96%Claude
ChatGPT并不存在一个统一的数字,它因调查而异,也取决于“营销自动化”的定义。一项常被引用的调查发现,62% 的美国数字营销人员使用过自动化软件,但该数据来自 2020 年,因此可能无法反映当前的采用情况。
Perplexity大约 81% 的营销组织使用营销自动化。
Gemini纵观主要行业基准,70% 到 79% 之间 的营销人员和企业以某种形式使用营销自动化工具
Claude96% 的营销人员使用过营销自动化平台或计划使用
AI Overviews根据 Moosend 的行业基准及相关研究,目前大约 49% 到 51% 的企业和营销团队使用营销自动化工具。
这并不是某个奇怪的问题。最高数字与最低数字之间的典型差距为 16 个百分点。
在 71 个问题中,有 31 个问题的五个数字相差 20 个百分点或更多
每个五个助手都给出百分比的问题,各占一行,从最低数字到最高数字。最接近的排在最上面。
最接近相差 20 个百分点或更多相差最远
一致看起来像证据,其实不是。五个助手在10个问题上给出了相同的数字,而我们追踪的5个中,只有2个有来源。它们重复最多的统计数据,被三个或更多助手引用,情况也好不到哪里去:29个中只有11个有来源。
其中四个被全部五个助手引用,背后却没有任何研究。
五个都引用,没有一个有来源。
每个助手都给了我们四个统计数据,每条的溯源都终止于一个未引用任何研究的页面。
- 44%
一次跟进后就放弃的销售人员
每条溯源都终止于一个未引用任何研究的页面,其中一个是自由撰稿人的示例文章。它的完整溯源指向第1章。
五个都引用
- 90%
至少关注一个品牌的社交媒体用户
陈述无来源。未找到包含此数字的研究。
五个都引用
- 75%
从不滚动到搜索结果第一页之后的搜索者
重复无来源,常被归因于一份旧营销综述,而该综述已不再包含此说法。未找到相关研究。
五个都引用
- 5 to 25 times
赢得一个新客户比留住一个老客户多花多少钱
2014年《哈佛商业评论》的一篇文章给出了“取决于你相信哪项研究”的范围,且未指明任何研究。
五个都引用
AI重复最多的29个统计数据
每条都至少被五个助手中的三个引用,通常排在首位,其溯源经过手工核查。
- 95%
未能带来可衡量财务回报的生成式AI试点
MIT NANDA的2025年报告称,95%的组织未从生成式AI获得回报。这与95%的试点失败不是一回事。
5 of 5ChangedStudy from 2025 - 44%
一次跟进后就放弃的销售人员
每条溯源都终止于一个未引用任何研究的页面,其中一个是自由撰稿人的示例文章。它的完整溯源指向第1章。
5 of 5Nowhere - 4% to 10%
实际会投诉的不满客户
可追溯到TARP为白宫消费者办公室所做的1979年研究。其作者表示,如此低的比率适用于小额购买;2016年,22%至41%的人就他们最严重的问题进行了投诉。
5 of 5ChangedStudy from 1979 - 2 hours 21 minutes
人们每天花在社交媒体上的时间
DataReportal的《数字2025》报告,基于GWI调查数据:典型互联网用户每天在社交媒体上花费2小时21分钟。
5 of 5SourcedStudy from 2025 - 46%
具有本地意图的谷歌搜索
可追溯到2018年一则关于某搜索会议上幻灯片的社会帖子。据我们所知,谷歌从未发布过该数据。
5 of 5Can’t check - 90%
至少关注一个品牌的社交媒体用户
陈述无来源。未找到包含此数字的研究。
5 of 5Nowhere - 94%
对网站的第一印象关乎其设计
始于2004年一项关于15名女性如何评判健康网站的研究。其完整溯源在第4章。
5 of 5ChangedStudy from 2004 - 75%
从不滚动到搜索结果第一页之后的搜索者
重复无来源,常被归因于一份旧营销综述,而该综述已不再包含此说法。未找到相关研究。
5 of 5Nowhere
如何处理AI给出的统计数据。
把它当作线索,而非来源。六个习惯,引用两侧各三个。
如果你使用它们
顺着引用查,然后再查一次。
如果被引用的页面是统计数据列表或公司博客,用它自己的链接再往前翻一页。一直查到研究本身,或者直到查不下去为止。
核查被问的是谁、多少人、何时。
我们发现的大部分变化都在上下文中,而不是数字本身:一个国家的民调、一项十年前的研究、十五个人。
不要把一致当作核实。
五个助手给出同一个数字,并不等于五个来源。它们重复最多的那些数字,其来源并不比其他数字更可靠。
如果你发布它们
把方法放在数字旁边。
样本、日期和来源链接,与数字放在同一页面上,这样下一个页面、下一个回答,都能追溯到你。
把发现公开。
藏在表单后面的报告是常见的死胡同:即便是从研究公司开始的线索,也有 38% 的情况下走不通。把头条数字和方法放在公开页面上。
看看 AI 为你的数字引用了哪个页面。
那往往是一个汇总或博客抄了你,有时还带着更旧的数字。那个页面决定了人们听到什么。
来源:Hacker News · trakkr.ai