跳到正文
arXiv cs.CL· Nicholas S. Kersting, Vittorio Castelli, Chieh Ting Yeh, Xinzhu Wang, Saad Taame, Khaoula Allak·· 10 小时前AI 评分31

文本语料作为概念场:提供可解释的接地性

Text Corpora as Concept Fields: Providing Explainable Groundedness

AI 导读

研究者提出“概念场”(Concept Field),在句子嵌入空间中用相邻句子的 delta 估计带逐点不确定性的局部漂移场,并以 ζ 分数衡量候选句子转移与场的吻合度,给出模型无关、可归因于语料的接地性量化指标。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:我们引入了文本语料的\textbf{概念场}:一个具有逐点不确定性的局部漂移场,在句子嵌入空间中根据连续句子之间的增量进行估计。给定一个候选句子转换,我们用 $\zeta$ 来评分其与场的一致性,$\zeta$ 是观测增量与场的局部统计估计之间的平均绝对 z 距离,从而给出一个可量化的有据性度量。该评分与模型无关且可归因于语料,提供可追溯至语料语义的线索,以支持或反驳有据性。我们通过引入\textbf{向量序列数据库(VSDB)}来驱动计算,该数据库存储嵌入以及序列位置和下一增量元数据。我们在两个大规模场景中展示了该方法:在美国联邦法规汇编上进行有据性检测,在 Project Gutenberg 上进行无据性(新颖性)检测,我们表明概念场在有据/无据/不确定的分诊策略下实现了强选择性分类性能。与以检索为中心的基线不同,由此产生的覆盖-风险行为在两个评估领域中显示出相似的实证覆盖-性能趋势。概念场为有据性提供了一种快速、轻量且可解释的信号,补充了 LLM 作为评判者和白盒检测器。
评论: 33 页,10 幅图,20 张表;新增了额外的可解释性分析
主题: 计算与语言(cs.CL);人工智能(cs.AI);计算机与社会(cs.CY)
引用为: arXiv:2605.05103 [cs.CL]
  (或 arXiv:2605.05103v4 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2605.05103

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Nicholas Kersting [查看电子邮件]
[v1] 2026 年 5 月 6 日星期三 16:38:49 UTC(1,694 KB)
[v2] 2026 年 5 月 9 日星期六 17:34:20 UTC(1,694 KB)
[v3] 2026 年 8 月 12 日星期三 16:10:50 UTC(1,928 KB)
[v4] 2026 年 10 月 30 日星期五 20:11:45 UTC(2,441 KB)

来源:arXiv cs.CL · arxiv.org