arXiv cs.CL· Mykhailo Poliakov, Nadiya Shvai·· 11 小时前AI 评分29
用隐藏状态探针替代 GPT-3.5：多源 RAG 元数据过滤新方法
Probe, Don't Prompt: A Hidden-State Probe for Metadata Filtering in Multi-Meta-RAG
AI 导读
研究提出用小型开源模型隐藏状态上训练的探针替代 GPT-3.5 完成 Multi-Meta-RAG 的新闻来源过滤，在全部 2556 条 MultiHop-RAG 查询上取得 90.9% 的集合完全准确率，高于子串基线的 88.0% 和 GPT-3.5 的 80.9%。
正文 · AI 翻译
摘要：Multi-Meta-RAG 通过基于元数据过滤向量存储来改进多跳问答的检索，具体是新闻来源和发布日期，它使用 GPT-3.5 从每个查询中提取这些信息。该提取器对每个查询都需要一次专有 API 调用，且其输出不限于允许的来源：即使提示中指定了 49 个来源，GPT-3.5 仍生成了 128 个不同的来源名称，其中 79 个不在列表中。我们表明，该提取器的来源部分可以替换为一个本地的、确定性的探针，该探针在一个小型开源语言模型的隐藏状态上训练。该探针是一个多标签逻辑分类器，作用于某一层平均池化的隐藏状态，并以类别平衡损失在金标准证据来源上训练。使用 5 折交叉验证选择层，我们在所有 2556 条 MultiHop-RAG 查询上对四个参数从 135M 到 1.5B 的模型进行折外评估。该探针达到 90.9% 的集合精确准确率，相比之下子串基线为 88.0%，GPT-3.5 为 80.9%。差异来自空查询，对于这些查询 GPT-3.5 从不预测空的来源集合。在其余查询上，三种方法的集合精确准确率彼此相差在 1.1 个百分点以内。与早期的探针工作不同，我们将探针用作检索流水线的组件，而非用于解释。对于所有四个模型，交叉验证都选择了前几层之一，这与检索任务中报告的中层形成对比。我们将此归因于来源名称在 95.4% 的金标准查询-来源对中逐字出现。135M 模型的准确率比 1.5B 模型低 1.5 个百分点，因此该过滤器仅需通过一个小模型的部分前向传播和一个线性层。代码可在 此 https URL 获取。
| 评论： | 已被 Computer Science and Applied Mathematics 接收 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2607.03929 [cs.CL] |
| （或此版本的 arXiv:2607.03929v2 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2607.03929 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Mykhailo Poliakov [查看电子邮件]
[v1]
2026 年 7 月 4 日星期六 15:47:38 UTC（85 KB）
[v2]
2026 年 10 月 20 日星期二 10:26:00 UTC（88 KB）
来源：arXiv cs.CL · arxiv.org