arXiv cs.CL· Xinyu Zhang, Weiwei Sun·· 14 小时前AI 评分34
Certify:用 Horn 闭包证书做需求导向搜索,判断证据是否充分
Knowing When the Evidence Is Enough: Requirement-Directed Search with Horn-Closure Certificates
AI 导读
Certify 将搜索充分性判断结构化:按查询构建需求超图,逐条需求检索并做实体校验,再用 Horn 闭包生成最小充分段落证书或列出未满足需求的弃答。在三个含不可答孪生问题的语料上,其判定准确率显著高于搜索智能体、图检索与充分性判别器;在 21M 条 Wikipedia 段落上,实体校验在存在金标证据时带来 4 至 13 个百分点的决策准确率提升。
正文 · AI 翻译
摘要:每次网络搜索后,搜索增强模型必须判断其证据是否充分:作答、再次搜索或弃答。现有系统将这一判断交由整体模型判断,而整体判断可能接受一个提及了所有实体却缺少某一必需事实的上下文。我们转而将充分性结构化:针对每个查询的需求超图指明哪些事实共同推出另一事实。这带来两个挑战:仅从问题本身推导需求,以及将每项需求与关于正确实体的段落关联起来。因此,Certify 会分解问题、按需求分别搜索,并且仅在实体检查通过后才接受链接。对链接进行 Horn 闭包运算可得到一份证书,即最小充分段落及其推导过程,或给出指明未满足需求的弃答。在检索、需求和链接均正确的前提下,该判定是可靠的,并且在实体检查范围内是完备的。在三个语料库(均配有不可回答的孪生问题)上汇总评估,Certify 在默认配置下的判定准确率显著高于搜索智能体、图检索和充分性评判器。在相同证据下,它无需额外调用模型即可匹配专有模型的充分性标签。在超过 2100 万条维基百科段落上,在存在金标准证据的情况下,实体检查使判定准确率提升 4 至 13 个百分点。最后,基于其证书生成的答案正确率为 80%,而基于全部检索段落的答案正确率为 57%。
| 评论: | 12 页,2 幅图,5 张表 |
| 主题: | 信息检索(cs.IR);人工智能(cs.AI);计算与语言(cs.CL) |
| 引用为: | arXiv:2610.34684 [cs.IR] |
| (或 arXiv:2610.34684v1 [cs.IR] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.34684 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Weiwei Sun [查看邮箱]
[v1]
2026 年 10 月 26 日星期一 01:20:18 UTC(87 KB)
来源:arXiv cs.CL · arxiv.org