Dice Roll Method：LLM 品牌推荐重复查询审计的标准化协议

查看 PDF HTML（实验性）

摘要：背景：研究人员越来越多地使用重复的相同提示来审计大型语言模型（LLM）品牌推荐中的随机变异，但目前尚无标准化协议来设定迭代次数、选择稳定性指标或建立可靠性阈值。目标：我们将骰子滚动方法形式化为一种可复用的协议，用于对 LLM 品牌推荐进行重复查询审计，其基础是温度缩放核采样的生成模型。方法：总响应方差被分解为采样、提示措辞、运行间和模型版本等成分。技术栈包括：以迭代作为重复测量的负二项混合模型；作为无分布效应量的 Cliff's delta；保持依赖性的自助法；基于模拟的统计功效；概化理论分解；对固定快照的漂移诊断。我们重新分析了五项品牌推荐审计研究：约 190,000 个观测值、270 多个品牌、6 种语言、迭代次数 5 至 40。结果：重新计算的 D 研究不支持任何固定层级。在 250 个不同问题（S5）中，五次运行时 G 为 0.96，1 至 2 次运行达到 0.80，在每个模型内也是如此。对于一个问题的五个版本（S1 情人节子集，Gemini），G 为 0.27（95% CI 0.00 至 0.52），这无法确定运行次数。运行次数来自试点：n = 4 x 残差 / 单元格方差。对于较大的 Cliff's delta，模拟的单单元格功效在五次运行时为 0.15 至 0.19，在 15 至 25 次时为 0.8。四个指标族（计数、集合、嵌入、PASOR）是互补的。在三个独立语料库上进行的预注册外部验证在 39 个单元格中的 37 个中重现了 D 研究预测，且无失败；固定层级不可迁移。结论：该协议在真实自回归生成的条件性、非高斯结构下，为 LLM 品牌推荐的重复查询审计提供了具有统计学原理的基础。

评论：	32 页。v2 修正了第 5 节的可靠性、层级、收敛、性别对比、漂移和功效结果，以及其他地方基于这些结果的陈述。根据研究数据重新计算。第 6 节结果未变。取代 Research Square rs-8980233 和 rs-9496731（v1 误写为 rs-8883056）
主题：	信息检索（cs.IR）；计算与语言（cs.CL）
ACM 分类：	H.3.3; G.3
引用为：	arXiv:2609.04047 [cs.IR]
	（或 arXiv:2609.04047v2 [cs.IR] 用于此版本）
	https://doi.org/10.48550/arXiv.2609.04047 arXiv 颁发的 DOI 通过 DataCite

提交历史

来自：Dmitrij Żatuchin [查看电子邮件]
[v1] 2026 年 9 月 3 日星期四 16:22:06 UTC（94 KB）
[v2] 2026 年 10 月 14 日星期三 05:40:39 UTC（103 KB）