多语言LLM关系推理基准Rel-Bloom发布

Zohreh Abbasi Liasi 等作者发布多语言关系推理诊断基准 Rel-Bloom，并公布 43 个模型在六种语言上的评测结果。 该基准含 450 道多选题，由 30 个 Wikidata 关系构建，同一组源关系按 Bloom 五级认知层次（记忆、理解、应用、分析、评价）和三种真实性条件（事实、反事实、中性化）实例化，共产生 226,800 次预测。研究据此分析多语言 LLM 在非参数化记忆上的关系知识推理表现。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。