arXiv cs.CL· Fagun Patel, Sang T. Truong, Duc Q. Nguyen, Kazunori Fukuhara, Benjamin W. Domingue, Sanmi Koyejo, Nick Haber·· 10 天前AI 评分23
CodeInsight：用于建模迭代式问题求解的数据集
A Dataset for Modeling Iterative Problem-Solving
AI 导读
研究者构建了 CodeInsight 数据集，包含 2 门 C++ 入门课程、3286 名本科生在 2 个学年内的超 300 万次代码提交，附测试用例级结果、时间戳与源码。基于该数据集，团队搭建了统一校准与评分协议的基准，评测参数化、序列化与生成式模型，其中适配的 RSSM 在 4 门课程中的 3 门取得最高预测准确率。LLM 预测器准确率较低，但能生成完整提交，且其编码能力与预测表现呈负相关。
正文 · AI 翻译
摘要：通过反复尝试来解决问题是一个序列建模任务：在每一步，求解者接收反馈并决定如何修改其解决方案。预测表现是提升、停滞还是退步，是理解人类学习者和自主智能体中任何迭代问题解决过程的核心。除了结果之外，对哪些错误持续存在以及策略如何在多次尝试间转变进行建模，能更深入地揭示序列学习的机制。研究这些动态需要观察许多求解者在尝试、接收反馈和修改过程中的表现。带有自动评分的编程课程提供了这一场景，因为学生会反复向测试套件提交代码并在每次尝试时接收反馈。因此，我们整理了 CodeInsight，这是一个大规模数据集，包含来自 2 个学年、2 门 C++ 入门课程中 3,286 名本科生的超过 300 万次提交，并带有测试用例级别的结果、时间戳和源代码。基于该数据集，我们构建了一个基准，在统一的校准与评分协议下评估涵盖参数化、序列化和生成式传统的模型，包括一个经过调整以通过离散潜变量跟踪求解者特征的循环状态空间模型（RSSM），以及一个生成显式解决方案的基于 LLM 的预测器。经过调整的 RSSM 在四门课程中的三门上取得了最强的预测准确率。LLM 预测器准确率较低，但能在每次尝试时生成完整提交，从而可以直接分析失败模式。我们发现，在该场景下，模型的编码熟练度与预测性能呈负相关，LLM 更适合被理解为以上下文为条件的生成式求解者，而非求解者行为的忠实预测器。我们公开了代码，并可按请求提供数据集，以促进未来研究。
| 评论： | EMNLP 2026 Findings |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2609.00940 [cs.CL] |
| （或 arXiv:2609.00940v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.00940 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Quang Duc Nguyen [查看电子邮件]
[v1]
2026年9月1日星期二 09:00:55 UTC（8,387 KB）
[v2]
2026年10月7日星期三 17:58:22 UTC（8,387 KB）
来源：arXiv cs.CL · arxiv.org