NEBench R1 核领域推理基准发布
热点事件持续更新
NEBench R1 核领域推理基准发布
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Liyan Wang 等作者发布 NEBench R1,一个面向推理的核领域基准,题目取自美国核管理委员会(NRC)反应堆操作员执照考试,共 7,546 道多选题,覆盖 18 座核设施。 六款大语言模型在该基准上的总体准确率为 34.0% 至 73.9%,分为三个性能层级。作者用 LLM 评判发现,正确回答在事实与程序准确性及干扰项分析上得分偏低,且较长的推理链反而与更低准确率相关。
AI 根据报道生成 · 7 分钟前更新
最新进展11月18日 13:00
NEBench R1:评估大语言模型核领域能力的推理基准报道时间线
沿着报道,了解事件的不同侧面。
11月18日
- arXiv cs.AINEBench R1:评估大语言模型核领域能力的推理基准
NEBench R1 是一个面向推理的核领域基准,包含从美国核管理委员会(NRC)反应堆操作员执照考试中提取的 7,546 道多选题,覆盖 18 座核设施。六款 LLM 的总体准确率为 34.0% 至 73.9%,分为三个性能层级;LLM 评判显示正确回答在事实与程序准确性及干扰项分析上得分偏低,较长推理链反而与更低准确率相关。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。