arXiv cs.AI· Zihan Fang, Ron Asoulin-Handelman, Helen Wu, Yu Huang, Gina R. Bai·· 12 小时前AI 评分24
TestCompass：不生成测试的 AI 如何引导单元测试学习？一项对比研究
Can AI Guide Testing Without Generating Tests? A Comparative Study of AI-Assisted Unit Testing
AI 导读
研究团队推出生成式 AI 导师 TestCompass，只针对学生测试套件的薄弱点给出反馈，不生成可执行测试。
正文 · AI 翻译
摘要：生成式 AI 的最新进展使助手能够生成日益复杂的可执行单元测试。然而，新手可能会直接接受这些输出，而不会独立判断应该测试什么、评估测试套件的完整性或验证正确性，这可能限制他们培养基本测试技能的机会。尽管已有研究探索了 AI 辅助测试生成和面向反馈的编程导师，但关于 AI 能否在不替新手生成测试的情况下支持其测试实践，目前仍知之甚少。为探究这一问题，我们推出了 TestCompass，这是一个生成式 AI 导师，它针对学生测试套件中的薄弱环节提供有针对性的反馈，而不生成可执行测试。在一项有 18 名学生参与的课堂研究中，我们在两个 Java 单元测试任务中比较了 TestCompass 与通用 AI 助手，考察了学生的测试行为、测试套件质量和主观体验。我们发现，使用通用 AI 助手的参与者生成了更多测试，而 TestCompass 的参与者则花了更多时间自行开发和验证测试。然而，大多数测试套件质量指标在两种条件下相当，并且在一个任务中，TestCompass 参与者以显著更少的测试方法（$p=0.012$）实现了相似的需求覆盖率。两组均未报告在感知测试知识或信心方面有短期提升。这些发现表明，面向反馈的 AI 可以在保留动手测试实践机会的同时支持有意义的测试成果，为 AI 辅助测试教育提供了一种互补方法。
| 评论： | 10 页，2 幅图 |
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.36185 [cs.SE] |
| （或 arXiv:2610.36185v1 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36185 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zihan Fang [查看电子邮件]
[v1]
2026 年 10 月 26 日星期一 19:18:29 UTC（2,460 KB）
来源：arXiv cs.AI · arxiv.org