跳到正文
热点事件持续更新

研究团队推出QFT-Bench量子场论评测基准

1 篇报道1 个报道来源13 小时前更新

先了解这件事

AI 综述

Tong Liu等作者提出并发布QFT-Bench,一个包含75道研究生至研究级量子场论推导题的评测基准,覆盖QFT核心子领域,采用符号验证与LLM评判结合评分。 在39个闭源与开源模型上的测试显示,最强模型准确率超过95%,但仍在计算、约定和指令遵循上出错;较弱模型则卡在物理概念与推导层面。对思维链的监测还显示模型存在明显的推理不忠实:答案正确,推理过程却不足以支撑结论。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月27日
  1. arXiv cs.CL
    LLMs 能解高能理论物理难题,但仍有缺口:QFT-Bench 量子场论评测

    研究团队推出 QFT-Bench,包含 75 道研究生至研究级量子场论(QFT)推导题,覆盖核心子领域,采用符号验证与 LLM 评判结合评分。在 39 个闭源与开源模型上,最强模型准确率超过 95%,但仍在计算、约定和指令遵循上出错,较弱模型则卡在物理概念与推导层面。对 CoT 的监测还显示模型存在明显的推理不忠实:答案正确,推理过程却不足以支撑结论。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。