arXiv cs.AI· Chaolang Li, Jingyu Li, Zhaocheng Du, Xuyang Xie, Gang Wang, Pengwen Dai·· 12 小时前AI 评分31
NHNM：从正例中挖掘自然硬负例，提升指令跟随检索
Natural Hard-Negative Mining from Positives for Instruction-Following Retrieval
AI 导读
研究者提出自然硬负例挖掘方法 NHNM，将原始正例段落改造成符合查询指令的自然硬负例，通过候选清洗、反转构造与几何过滤自动生成高对比监督信号。在 MSMARCO 上构建出约 7K 条实例的 IFIR 训练集 NHNM-MARCO，568M 至 4B 参数模型微调后在 InstructIR 和 FollowIR 上表现强劲，部分设置下可匹敌或超越更大规模检索模型。
正文 · AI 翻译
摘要：指令遵循信息检索（IFIR）要求检索器同时依据查询及其实例特定指令对文档排序，然而以指令为条件的对比监督仍然稀缺。现有合成方法通常固定一个正例段落并生成额外的负例，忽视了原始正例作为难负例的潜力。我们提出自然难负例挖掘（NHNM），它在与查询兼容的指令下将可转换的负例提升为难负例，并将原始正例重新用作自然的指令难负例。其自动化的候选清洗、反转构造和几何过滤流程可生成紧凑、高对比度的监督信号，并与预训练检索空间对齐。将 NHNM 应用于 MSMARCO，得到 NHNM-MARCO，这是一个包含近 7K 个实例的 IFIR 训练集。在 InstructIR 和 FollowIR 上，参数规模从 568M 到 4B 的模型经 NHNM-MARCO 微调后，取得了很强的指令遵循性能，并在多种设置下达到或超过规模大得多的检索器。对照分析和消融实验表明，这些增益归因于自然难负例监督，而非模型规模或训练数据量。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.36900 [cs.AI] |
| （或 arXiv:2610.36900v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36900 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Chaolang Li [查看邮箱]
[v1]
2026年10月27日 星期二 09:31:15 UTC（1,656 KB）
来源：arXiv cs.AI · arxiv.org