arXiv cs.CL· Masoud Monajatipoor, Fazlolah Mohaghegh, Hamid Reza Hassanzadeh, Akash Uttamrao Bhoite, Robert E. Tillman·· 11 小时前AI 评分31
用 silver evidence 演示替代噪声检索：面向上下文学习的决策证据方法
From Noisy Retrieval to Decision Evidence: Silver Evidence Demonstrations for In-Context Learning
AI 导读
研究提出 silver-evidence demonstrations，用 LLM 生成的、以目标为条件的证据摘要替换 ICL 示例中的原始检索段落，生成时不接触专家标签与 gold evidence。
正文 · AI 翻译
摘要：当与决策相关的证据被埋藏在冗长、嘈杂的上下文中时，RAG 和检索增强的少样本 ICL 可能会表现不佳。检索到的段落和示例可能包含冗余或分散注意力的信息。尽管专家标注的开发示例可以识别支持每个决策的文本，但这些标注通常仅被用作答案侧的理由，而非用于过滤嘈杂检索的监督信号。我们提出了银证据示例，它将 ICL 示例中的原始检索段落替换为生成的、以目标为条件的证据摘要。对于每个有标注的开发示例，LLM 在无法访问专家标签或黄金证据的情况下生成银证据；随后，该证据与专家标签以及可用的黄金证据配对。在测试时，一次结构化调用从检索段落中生成银证据，然后预测最终标签和决策证据。在 EI 2.0、SciFact、合成策略检索和 HICRIC/IMR 数据上，我们的完整方法在四个数据集中的三个上优于同等规模的仅黄金 ICL（策略数据为仅标签），并在所有有标注的数据集上提高了证据 F1。它在所有四个数据集上也取得了比 InstructRAG 风格 ICL 更高的平均标签准确率。这些结果表明，将示例侧的检索段落替换为紧凑的、以目标为条件的银证据，对于基于冗长且嘈杂文本的决策特别有用，因为它减少了分散注意力的上下文，同时保留了与决策相关的信号和专家监督。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.32128 [cs.CL] |
| （或 arXiv:2610.32128v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32128 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Masoud Monajatipoor [查看电子邮件]
[v1]
2026年10月23日星期五 03:56:06 UTC（790 KB）
来源：arXiv cs.CL · arxiv.org