LLM 维护的 Wiki 知识库渐进式披露：一项预注册消融研究

查看 PDF HTML（实验性）

摘要：LLM 智能体如今常常要从它们协助维护的知识库中回答问题。一种常见的直觉认为，渐进式披露应当能降低这一成本。智能体不再加载一个庞大的索引，而是读取一份紧凑的目录和单行页面摘要，然后只打开它需要的页面。我们在一个由 LLM 维护的真实 709 页 markdown 知识库上开展了一项预注册研究，以检验这一直觉。我们对其进行了改造以实现渐进式披露，并构建了四个版本，它们仅在智能体如何到达页面这一点上有所不同。每个版本中的页面本身完全相同，因此任何差异都仅来自访问结构。每个版本都以三种方式进行了测试：智能体遵循既定协议、自行选择路径，或被强制先加载目录。来自不同模型家族的评判者对答案进行盲评，并与经过验证的参考答案对照。
一项预备性试点改变了问题。一个能力强的智能体根本没有加载那个庞大的索引。它根据问题推断出页面所在位置，并直接读取该页面。我们原本要衡量的节省对这样的智能体并不存在，因此我们将答案质量作为主要结果。质量得以保持。改造后的知识库给出的答案与原始知识库给出的答案一样好，处于我们事先设定的误差范围内。有两点局限。我们的人类评分者与模型评判者的一致程度远低于计划要求，因此质量结果依赖于评判者，并以敏感性检验作为支撑。此外，在智能体被强制先加载目录的情况下，或在更严格测试下两个评分最可靠的标准上，质量也未能证明得以保持。在我们测试的每一种条件下，成本都明显下降，而且改造后的版本每条答案引用的页面更少、使用的工具轮次也更少。

评论：	15 页，3 幅图，6 张表。v2 在摘要中说明了其两点局限。我们的人类评分者与模型评判者的一致程度远低于计划要求。在智能体必须先加载目录的情况下，或在两个评分最可靠的标准上，质量未能证明得以保持。已在 OSF 上预注册，见此 https URL，DOI https://doi.org/10.17605/OSF.IO/FEKA7
主题：	计算与语言（cs.CL）；计算机与社会（cs.CY）；信息检索（cs.IR）
引用为：	arXiv:2607.04576 [cs.CL]
	（或 arXiv:2607.04576v2 [cs.CL] 用于此版本）
	https://doi.org/10.48550/arXiv.2607.04576 arXiv 颁发的 DOI，经由 DataCite

提交历史

来自：Theodore Cochran [查看电子邮件]
[v1] 2026 年 7 月 6 日星期一 01:03:27 UTC（59 KB）
[v2] 2026 年 10 月 7 日星期三 00:50:51 UTC（121 KB）