跳到正文
热点事件持续更新

双语圣训复述基准:五模型零精确匹配

1 篇报道1 个报道来源9 小时前更新

先了解这件事

AI 综述

Dayam Nadeem 等作者发布了一项双语(英语/阿拉伯语)圣训复述基准,测试 Mistral-7B、Gemma3-4B、Jais-7B、ALLaM-7B 和 Phi4-mini-3.8B 五款开放权重模型对六大逊尼派圣训集的精确复述能力,结果显示 30000 条回答中无一同时达到高词汇保真度(BLEU)与高语义保真度。 测试中,每个模型只获得书目出处,被要求在不使用检索增强的情况下复现圣训原文;每集 500 条、每模型每语言 3000 条。作者公开了代码、提示词、评估流程和评分输出。

AI 根据报道生成 · 46 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月4日
  1. arXiv cs.CL
    开放权重 LLM 圣训复述双语幻觉基准:3 万条回答无一精确匹配

    一项双语(英语/阿拉伯语)基准测试了 Mistral-7B、Gemma3-4B、Jais-7B、ALLaM-7B 和 Phi4-mini-3.8B 五款开放权重模型对六大逊尼派圣训集(每集 500 条、每模型每语言 3000 条,共 30000 条回答)的精确复述能力,结果 0% 的回答同时达到高词汇保真度(BLEU)与高语义保真度。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。