arXiv cs.AI· Elisha Bajemon, Andre-Louis Rochet·· 13 小时前AI 评分31
预测答案引擎会引用什么:开放决策模型、重排序器与蒸馏 4B 学生在十引擎受控检索下的表现
Predicting What Answer Engines Cite: Open Decision Models, Rerankers and a Distilled 4B Student on Ten Engines under Controlled Retrieval
AI 导读
研究在 GEO-Bench 查询上评测重排序器与决策模型对答案引擎引用份额的预测能力,十个引擎在相同候选来源下组内 Spearman 相关为 0.704。
正文 · AI 翻译
摘要:生成式引擎优化需要一个评分器,按候选页面将获得的引用份额对它们进行排序。我们在 GEO-Bench 查询上测量了预训练重排序器、一个托管类型化决策模型(Jev)、八个开放决策模型以及蒸馏学生模型,这些查询由十个引擎回答,且这些引擎在提示中接收相同的候选来源。当多个引擎回答同一查询时,它们彼此之间在组内 Spearman 相关性为 0.704 上一致。Jev 和两个开放的 27B 决策模型在未经训练的情况下使用,是最强的评分器,得分为 0.575 至 0.578。一个 Qwen3-Reranker-4B 在其他 GEO-Bench 查询的教师标签上使用低秩适配器进行微调,发布为 GEO Citation Ranker 4B,在三个随机种子上达到 0.542 至 0.549,并且它与 27B 模型以及 Jev 的差异在 229 个查询上与零无法区分。当 Jev 像学生模型一样一次对一个段落评分时,学生模型与 Jev 之间剩余的大部分差距消失。在教师标签和观察到的引擎引用上训练的学生模型达到相同水平,而仅来自 Jev 的标签在 0.6B 时与双教师目标相匹配。我们发布了模型、基准、每个所报告评分器的预测以及代码。
| 评论: | 12 页,1 幅图,4 张表。模型:此 https URL;基准和代码:此 https URL |
| 主题: | 信息检索(cs.IR);人工智能(cs.AI) |
| 引用为: | arXiv:2610.38090 [cs.IR] |
| (或 arXiv:2610.38090v1 [cs.IR] 为此版本) | |
| https://doi.org/10.48550/arXiv.2610.38090 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自:André-Louis Rochet [查看电子邮件]
[v1]
2026 年 10 月 28 日星期三 00:11:13 UTC(40 KB)
来源:arXiv cs.AI · arxiv.org