arXiv cs.AI· Julien Knafou, Luc Mottin, Alexandre Flament, Paul van Rijen, Esteban Gaillac, Patrick Ruch·· 13 小时前AI 评分20
BITEM 团队在 NTCIR-19 R2C2 任务：用智能体 RAG 流水线信号预测置信度
BITEM at the NTCIR-19 R2C2 Task: Predicting Confidence from Agentic RAG Pipeline Signals
AI 导读
BITEM 团队用单一智能体 RAG 流水线参加 NTCIR-19 R2C2 两个子任务，置信度由 orchestrator 依据运行记录计算，模型本身无法自评。
正文 · AI 翻译
摘要：BITEM 团队以单一智能体流水线参加了 NTCIR-19 R2C2 任务的两个子任务：模型在电影语料上搜索、阅读并记录证据，而编排器持有记录并裁定哪些内容可以提交。只有当蕴含级联已将其与所引段落核对后，主张才会被接纳；只有当足够多经过核对的证据支撑时，答案才会被发布。每个问题运行三到四次，每一轮都从已剔除前几轮所见内容的语料中检索。每个答案附带的置信度分数由编排器根据运行留下的结果计算，从不向模型索取，模型也没有任何自我评分的途径。两次检索运行在 22 个参赛系统中分别位列第 4 和第 5，合并各轮结果带来 0.0709 的 nDCG@20 提升，且提升在多跳和重后处理问题上最大，组织方将合并运行列为该领域第一。25 次答案运行中有 16 次建立在这两次运行提供的段落之上，其中 12 次由其他团队提交。HMR 奖励的是在答对时置信度高、答错时置信度低的系统。该流水线达到 0.9219 的准确率，在 25 个系统中位列第 6，而为这些答案预测的置信度分数给出的 HMR 为 0.4915，位列第 13。基于同样记录信号手工制定的几条规则，无需额外模型调用和额外检索，将准确率提升至 0.9375（第 5），HMR 提升至 0.6985（第 9）。仅按 HMR 排名可能奖励以低置信度答错的系统，因此我们提出 accHMR，即准确率乘以 HMR，按准确率比例报告奖励，修订后的规则在该指标上本可得到 0.6549，位列第 5。未来工作方面，在流水线已产生的数字上拟合模型，而非手工编写此类规则，将是真正的进步。
| 评论： | 8 页。NTCIR-19 R2C2 任务的参与者论文 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；信息检索（cs.IR） |
| ACM 分类： | H.3.3；I.2.7 |
| 引用为： | arXiv:2609.37993 [cs.CL] |
| （或本版本的 arXiv:2609.37993v2 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2609.37993 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Julien Knafou [查看邮箱]
[v1]
2026 年 9 月 29 日星期二 16:52:38 UTC（90 KB）
[v2]
2026 年 10 月 29 日星期四 16:45:07 UTC（85 KB）
来源：arXiv cs.AI · arxiv.org