arXiv cs.CL· S. M. Mahbub Uddin Ahmed, Abdullah Al Musaddiq·· 10 小时前AI 评分31
DMReranker：按子句拆分指令的零样本重排序方法
Every Clause Counts: Instruction-Following Reranking by Multiplying Small, Answerable Questions
AI 导读
DMReranker 是一种零样本重排序器，将带指令的查询拆成主题和若干带类型的子句，由小型评判模型逐条回答并把答案概率相乘得到分数，全程无需训练。在 InfoSearch 六个维度上其 macro WISE 达 50.9，原模式 nDCG@10 保持 82.9，但严格指令合规率 SICR 为 19.2，低于 GPT-4o 的 32.1；按排名计算则为 67.0。
正文 · AI 翻译
摘要：人们经常在搜索查询中附加指令，要求提供面向初学者的页面、特定语言的文档或仅限官方来源。大多数重排器被训练用于判断主题相关性，并将此类指令视为几个额外的词。在 InfoSearch 基准上，即使将 GPT-4o 用作列表式重排器，其平均 WISE（加权指令敏感性评估）也仅为 33.5。我们提出 DMReranker（决策模型重排器），这是一种零样本重排器，它将带指令的查询拆分为一个主题和一个简短的带类型子句列表。一个小型评判模型针对每个子句回答一个范围狭窄的问题，并将各答案概率相乘为单一分数。整个过程无需训练，且配置在测试运行前已冻结。在与已发布基线相同的 top-100 候选上重排，DMReranker 在全部六个 InfoSearch 维度上达到 50.9 的宏平均 WISE，同时保持原始模式 nDCG@10 为 82.9。在更严格的 SICR（严格指令遵循率）指标上，它落后于 GPT-4o，为 19.2 对 32.1。我们表明，这一差距源于当 SICR 跨运行比较原始分数时概率乘积的行为方式。根据排名计算，我们的 SICR 为 67.0。在同一个评判模型上，与单一合并问题相比，拆分指令将 WISE 从 32.9 提升至 47.6，而原始分数 SICR 下降。按标价计算，对全部六个维度评分花费约 10 美元。
| 学科： | 信息检索（cs.IR）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.03179 [cs.IR] |
| （或 arXiv:2611.03179v1 [cs.IR] 为本版本） | |
| https://doi.org/10.48550/arXiv.2611.03179 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：S. M. Mahbub Uddin Ahmed [查看电子邮件]
[v1]
2026年11月2日星期一 14:15:23 UTC（88 KB）
来源：arXiv cs.CL · arxiv.org