arXiv cs.CL· Omar Farouk Zouak, Selma Mani, Larbi Said Chikh, Raid Abderrezak Ouahioune·· 11 小时前AI 评分31
查询记住了什么：查询抽象程度决定古典阿拉伯诗歌的词汇与稠密检索表现
What the Query Remembers: Query Abstraction Governs Lexical and Dense Retrieval of Classical Arabic Poetry
AI 导读
研究在古典阿拉伯诗歌上评测了九个稠密编码器与 BM25，发现检索器优劣取决于查询保留了多少原诗措辞。在“话到嘴边”式查询中 BM25 领先所有稠密编码器，包括一个 8B SOTA 模型（Recall@5 为 0.746 对 0.717）；在抽象查询中 BM25 跌至十者第八（0.392 对 0.748）。
正文 · AI 翻译
摘要：诗歌档案的检索效果取决于用户还记得多少内容，而不仅仅取决于模型理解了什么。我们以古典阿拉伯语诗歌为例，在两组语料、三种索引模式和两种评估协议上对九个稠密编码器和 BM25 进行了基准测试。哪个检索器胜出，取决于查询中仍保留了多少诗句原文。在“话到嘴边”类查询上，BM25 领先于所有稠密编码器，包括一个 8B 的最先进模型（0.746 对 0.717 Recall@5）；在抽象查询上，它则跌至十名中的第八名（0.392 对 0.748）。对相同查询的措辞进行编辑表明，这一排名在很大程度上反映了查询构成：增加一个记得的半句诗可使 BM25 提升 38 分，手动改写所引用的词语后 BM25 与 8B 编码器持平，而 BM25 对记忆措辞的敏感度显著高于最强的稠密编码器。同一维度也控制着解释增强的效果，其影响从 +37 分摆动到 -39 分。其机制因系统类型而异：词汇包含度预测 BM25 的行为，而嵌入邻近度预测稠密编码器的行为。最后，该领域的两种标准协议——已知条目检索和主题相关性——在同一批系统上出现分离，这一结果由两名盲评人类标注员和两名开放权重评判模型复现，其中一名评判模型使用的评分标准不含字面匹配准则。只报告一种协议或一种查询语域的基准测试可能给出实质性错误的图景。代码和数据可在 此 https URL 获取。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI）；信息检索（cs.IR） |
| 引用为： | arXiv:2610.31821 [cs.CL] |
| （或 arXiv:2610.31821v1 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.31821 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Omar Farouk Zouak [查看电子邮件]
[v1]
2026年10月22日星期四 18:59:15 UTC（625 KB）
来源：arXiv cs.CL · arxiv.org