arXiv cs.CL· Michael Dinzinger, Kanishka Ghosh Dastidar, Michael Granitzer·· 11 小时前AI 评分34
研究：System One 决策模型并不比专用 reranker 微调更适合重排序
System One models Are Not Better Rerankers
AI 导读
针对 0.6B 至 27B 的六个 Qwen 骨干模型、十个 TREC DL 和 BEIR 数据集的研究发现，决策微调从未带来更好的重排序效果。在 0.6B 到 9B 区间，reranker 微调在每个骨干上都以 5 至 29 个点的 nDCG@10 优势胜出，27B 时两者持平；9B 以下决策微调相比直接零样本提问没有增益。决策模型的校准优势也取决于提问方式，且校准无法弥补更差的排序质量。
正文 · AI 翻译
摘要：System One 模型，即决策模型，用经过校准的概率而非生成的文本回答关于输入的问题。在 2026 年 9 月首次发布后的几周内，它们就被用作重排器。我们测试其背后的决策微调是否比同一模型的普通重排器微调能产生更好的重排器。对于从 0.6B 到 27B 参数的六个 Qwen 主干模型以及十个 TREC DL 和 BEIR 集合，我们将零样本询问的未微调模型与其决策微调版本和重排器微调版本进行比较，其中两个重排器微调版本由我们自己训练。在我们的工作中，我们得出结论：决策微调从不会产生更好的重排器。从 0.6B 到 9B，重排器微调在每个主干模型上都以 5 到 29 个点的 nDCG@10 胜出，在零样本集合上也是如此，而在 27B 时两者持平。直到 9B，决策微调相比直接询问未微调模型没有任何增益。此外，我们发现决策模型的校准优势取决于所问的问题。当被问及某段落是否回答了查询时，从 4B 起它们比已发表的重排器微调版本校准得更好。当被问及与先前工作略有不同的问题时，它们便失去了这一优势。最后，校准并不能弥补更差的排序：直到 9B，重排器微调在固定阈值下能保留更好的段落。如果你需要重排器，就微调一个重排器。
| 学科： | 计算与语言（cs.CL）；信息检索（cs.IR） |
| 引用为： | arXiv:2610.32318 [cs.CL] |
| （或 arXiv:2610.32318v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32318 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Michael Dinzinger [查看电子邮件]
[v1]
2026 年 10 月 23 日星期五 08:16:13 UTC（73 KB）
来源：arXiv cs.CL · arxiv.org