预注册测试：Gemini 品牌提及历史预测的 20 天持久性验证

查看 PDF HTML（实验性）

摘要：大语言模型提及的品牌计数，只有在其足够持久、可供行动时才有用。我们通过一项预注册的重复实验来检验这一点。相同的 162 个请求（54 个问题，分别用英语、爱沙尼亚语和芬兰语询问三个软件类别，每个问题从十二个候选品牌中选四个，重复三次）在 2026 年 9 月 22 日和 23 日约十小时内分三波发送给 gemini-3.1-pro-preview，并在 2026 年 10 月 13 日、即第三波之后 20.3 天再次发送，请求体完全相同。该计划及其决策规则在首次调用之前即已冻结、哈希并注册于 OSF。结果是每个答案和品牌的词汇提及标签，每波 648 个。主要预测——每个品牌-问题单元格在先前九个答案上的提及率——Brier 得分为 0.0281，对数损失为 0.126，相比之下，8 小时波次的六答案预测 Brier 得分为 0.0259，注册上限为 0.0559。它在两项得分上以及在全部九个问题族中均优于品牌历史（0.104）、总体比率（0.234）和常数 0.5（0.250）（精确符号翻转 p = 0.0039），因此在注册规则下持久性成立。仅根据第一波冻结的预测在 1.5 小时、9.6 小时和 20.7 天的时间跨度上得分分别为 0.0599、0.0587 和 0.0604。在 8 小时波次中一致的 202 个单元格中，有 194 个在 D1 时保持不变，且无一逆转。仅最新一波的准确度几乎与合并历史一样高（Brier 0.0292；合并历史在 9 个问题族中的 5 个中更低，p = 0.28）。每个答案都报告了所请求的模型版本，且尽管启用了搜索，均未发出搜索查询。对 96 个标签的盲人工检查与规则在 94 个上一致；两处不一致均被裁定为评分者遗漏，因此经裁定后，规则在 96 个中的 96 个上匹配。该测试涵盖一个模型、一个时间区间和十二个已知品牌，且不估计任何衰减率。

评论：	11 页，3 幅图，5 张表。预注册于此 https URL。数据：此 https URL
主题：	信息检索（cs.IR）；计算与语言（cs.CL）
ACM 分类：	H.3.3；I.2.7；G.3
引用为：	arXiv:2610.19608 [cs.IR]
	（或 arXiv:2610.19608v1 [cs.IR] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.19608 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Dmitrij Żatuchin [查看电子邮件]
[v1] 2026 年 10 月 14 日星期三 05:30:43 UTC（54 KB）