arXiv cs.CL· Zohreh Abbasi Liasi, Batoul Hammoud, Anas Madkoor, Ehsaneddin Asgari·· 11 小时前AI 评分38
多语言 LLM 在非参数化记忆上的推理：基于认知框架的关系知识分析
Reasoning over Non-Parametric Memory in Multilingual LLMs: A Cognitive-Based Analysis of Relational Knowledge
AI 导读
研究构建了 Rel-Bloom 多语言诊断基准，含 450 道多选题、30 个 Wikidata 关系，按 Bloom 五级认知层次和三种真实性条件实例化，覆盖 43 个模型、六种语言共 226,800 次预测。
正文 · AI 翻译
摘要：检索增强生成（RAG）假设语言模型能够对其上下文中陈述的关系进行推理，而不是依赖预训练期间记忆的关联。我们在隔离条件下研究这种以证据为条件的关系推理，事实直接提供在提示中而非通过检索获得。\textsc{Rel-Bloom} 是一个受控的多语言诊断基准，包含 450 道多项选择题，由 30 个 Wikidata 关系构建；相同的源关系在五个受 Bloom 启发的层级（记忆、理解、应用、分析、评价）以及三种真实性条件（事实性、反事实、中性化）下实例化。在 43 个模型、六种语言和两种多语言设置（226,800 条预测）中，有三项发现尤为突出。第一，在所有受评估的开源权重模型系列中，准确率从应用层级到分析层级急剧下降，Large Granite 分组达到 47.2 个百分点，但两个 Gemini 模型均未出现此现象。第二，即使对于在其他任务类型上接近上限的模型，评价类题目仍是瓶颈：Gemini~3.1 Pro 在其他四个层级上平均为 99.5\%，但在评价层级上仅为 60.7\%。第三，题目级和关系级的难度排名在各语言间保持一致，表明该基准内部分难度结构在不同语言间共享。在知识条件方面，反事实上下文通常比事实性上下文更难，而在某些模型机制下，移除实体身份可以提高高层级表现。因此，更强的模型能力本身并不能确保对所提供的关性证据进行可靠推理。相关资源见：此 https URL。
| 评论： | 发表于 COLM 2026 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.06715 [cs.CL] |
| （或 arXiv:2611.06715v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06715 由 DataCite 颁发的 arXiv DOI（待注册） |
|
| 期刊 参考： | COLM 2026 |
提交历史
来自：Ehsaneddin Asgari [查看电子邮件]
[v1]
2026 年 11 月 4 日星期三 16:11:26 UTC（228 KB）
来源：arXiv cs.CL · arxiv.org