arXiv cs.CL· Unggi Lee, Haeun Park·· 9 天前AI 评分22
单次推理 LLM 能否在少量或零学习者日志下完成知识追踪？
Can a System-One LLM Perform Knowledge Tracing When Few or No Learners Are Logged?
AI 导读
研究测试了现成 System-One LLM 在少量或零学习者日志下做知识追踪的能力：Jev 在无目标平台数据时七个数据集平均 AUC 达 .706，高于 28 个用 8 名学习者训练的深度 KT 模型最佳值 .689，也高于 System-Two Thinking-KT 的 .650，API 成本约为其 1/100。
正文 · AI 翻译
摘要：知识追踪（KT）模型需要大量已记录的学习者，因此新课程或新平台在启动时没有可用的模型。在基于 LLM 的 KT 中，LLM 生成答案，我们称之为 System-Two；它要么在目标数据上进行微调，要么对十个样本进行推理和投票，这既慢又只能给出粗糙的概率。我们想知道，一个现成的 System-One LLM 能否在几乎没有或完全没有学习者记录的情况下执行 KT，该模型能在单次前向传播中直接为一道输入题目返回概率。在七个数据集上，Jev 在没有任何来自目标平台的数据的情况下达到了 0.706 的平均 AUC，高于在 8 个学习者上训练的最佳 28 个深度 KT 模型（0.689），并在全部七个数据集上高于 System-Two Thinking-KT（0.650），而 API 成本约为其 1/100。加入来自已记录学习者的示例和一个相似学习者统计量（JevKT）后，这一数值提升至 0.722；JevKT 在最多 16 个学习者时显著领先于深度 KT，在平均意义上最多 64 个学习者时仍保持领先，而监督式 KT 在 64 到 128 个学习者之间追平。在我们测试的读者中，这一增益是 Jev 特有的，因为通过官方 System-One 适配器以字节完全相同的输入请求查询的另外三个 LLM 在全部七个数据集上都低于它，并且读者替换和污染检查未发现任何证据表明输入格式或记忆数据能解释这一增益。对于新学习者，这一优势从他们的首次交互起就存在，而在所有学习者都已记录的情况下面对未见过的题目时，深度 KT 仍然领先。
| 评论： | 41 页，7 幅图。代码和结果摘要：此 https URL |
| 主题： | 计算与语言（cs.CL）；计算机与社会（cs.CY）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.11135 [cs.CL] |
| （或使用 arXiv:2610.11135v1 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.11135 arXiv 通过 DataCite 颁发的 DOI（待注册） |
提交历史
来自：Unggi Lee [查看电子邮件]
[v1]
2026 年 10 月 8 日星期四 02:59:20 UTC（82 KB）
来源：arXiv cs.CL · arxiv.org