arXiv cs.CL· Yang Liu, Ran Zou, Wanrong Zhu·· 11 小时前AI 评分24
Source-balanced Capped Fisher：语言模型用户推断的有界证据聚合方法
Source-balanced Capped Fisher: Bounded Evidence Aggregation for User Inference in Language Models
AI 导读
研究者提出 source-balanced capped Fisher（SCF），一种利用已知未参与来源评估文档分数异常程度的聚合方法，将参考尾部频率转为负对数证据、截断单文档贡献并按来源平均，以抑制孤立极端分数的影响。
正文 · AI 翻译
摘要：用户推断旨在判断某个来源是否向语言模型更新贡献了文档，即使审计者只能观察到该来源的新文档。文档级分数可以提供参与证据，但如何组合这些证据颇具挑战：文档在基线可预测性以及反映从同一来源其他文档所学信息的强度上各不相同。我们提出源平衡截断 Fisher（SCF），一种利用已知未参与来源来评估每个文档分数异常程度的聚合方法。它将所得的参考尾部频率转换为负对数证据，对单个贡献进行截断，并在每个来源内取平均。这限制了孤立极端分数的影响，同时保留跨多个文档的证据。我们用一个决策规则完成推断过程，该规则使用针对另一组已知未参与来源校准的 p 值来检验来源参与情况。在来源可交换性下，该规则提供有限样本的 I 类错误控制。在四个真实数据集上的实验表明，SCF 在所评估的聚合方法中于四个领域均取得最高 AUROC。借助基于校准的决策规则，SCF 在测试设置中始终提供有竞争力的检测功效，在许多情况下达到最高功效，同时经验假阳性率通常接近或低于名义水平。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.07228 [cs.CL] |
| （或 arXiv:2611.07228v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07228 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ran Zou [查看电子邮件]
[v1]
2026年11月4日星期三 23:33:10 UTC（186 KB）
来源：arXiv cs.CL · arxiv.org