arXiv cs.AI· Peter Steiner, Jan Hochweber·· 10 小时前AI 评分27
用知识空间理论评测 LLM 下一步推荐：KST 基准方法
Benchmarking LLM Next-Step Recommendations with Knowledge Space Theory
AI 导读
一项研究提出以知识空间理论（KST）为形式化评测基准，从任务目录和先修关系推导可允许知识状态及每个状态的完整即时下一步集合，再与模型推荐结果比对。在覆盖六个模型、四个数学领域、四种提示条件与两种目录顺序的 2400 条响应样本中，精确集合准确率从仅给描述的 61.3% 升至要求模型重建先修关系时的 62.8%，提供先修关系后达 96.3%，给出完整知识空间后达 98.2%。
正文 · AI 翻译
摘要：为下一步推荐选择 LLM 需要能够反映预期教育任务与领域的基准。我们提出一种以知识空间理论（KST）作为形式化评估参考的基准测试方法。给定任务目录和已有的先决条件关系，该方法推导出可接受的知识状态以及每个状态对应的完整即时下一步集合。将模型在指定提示下生成的推荐与这些参考集合进行比较。一项样本评估研究使用了来自六个模型的 2,400 条回答，涵盖四个数学领域、四种提示条件和两种目录顺序。仅提供描述时，精确集合准确率为 61.3%；要求模型重建先决条件时为 62.8%；提供先决条件关系时为 96.3%；提供完整知识空间时为 98.2%。不同模型和领域的表现存在差异，两种呈现方式下的推荐集合在 85.25% 的配对中一致。该基准支持将模型-提示组合与特定情境的参考进行比较。其分数描述的是所评估条件下结构化的推荐准确率；它们并不能确立学习收益，也不能证明使用 LLM 进行选择的必要性。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.13667 [cs.AI] |
| （或 arXiv:2611.13667v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13667 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Peter Steiner [查看电子邮件]
[v1]
2026年11月10日星期二 07:15:25 UTC（47 KB）
来源：arXiv cs.AI · arxiv.org