arXiv cs.AI· Jingjing (May), Liu, Dishu Yang, Hongbo Qin, Hansong Zhang·· 3 天前AI 评分37
测试通过却语义缺失：DataFrame 代码生成中的解释锁定现象
Passing Tests, Missing Semantics: Evidence of Interpretive Lock-In in Plan-Based DataFrame Code Generation
AI 导读
研究在 30 个 TPC Benchmark DS 派生的 DataFrame 任务上发现"解释锁定"现象：Test-Guided Revision 和 PlanAudit-Guided Revision 将测试通过数从 22/30 提升至 29/30 和 30/30，但没有任何生成方案匹配存储的参考输出。
正文 · AI 翻译
摘要：规划与修订旨在使生成的代码更贴近任务规范。然而，一种错误的解读可能在规划、实现和测试中持续存在——我们将这种模式称为解释性锁定。我们在源自 TPC Benchmark DS 的 30 个 DataFrame 任务上研究了这一风险，比较了 Frozen One-Pass、Test-Guided Revision 和 PlanAudit-Guided Revision。测试通过数从 22/30 上升到 29/30 和 30/30，但没有任何生成的解决方案与其存储的参考输出相匹配。评估器对照在 57/57 个案例中返回了预期结果。同引擎 SQL 重新执行复现了 28/30 个参考；这些任务上所有 77 次测试通过的运行仍然未能与参考一致。PlanAudit-Guided Revision 在 3/30 个任务上提高了代码分数，在 11/30 个任务上提高了测试覆盖率，但两项指标的中位配对变化均为零。失败分析揭示了遗漏需求、采用候选定义的 schema、使用无区分性测试夹具或重复实现错误逻辑的测试。在十个针对性任务上重新生成产生了 0/30 的参考匹配，并且在测试通过的运行中有 25/25 的假通过。这些发现是诊断性的而非因果性的：各流程在反馈、基础、调用预算和编辑权限方面存在差异，且该研究对每个合格任务使用一个模型和一次主要生成。由于未保留裁决前的人工标注，无法重建评分者间一致性，机制分析仍属探索性。总体而言，即使排除了未复现的参考，日益成功的自生成测试也未能确立语义正确性。
| 评论： | 已被 International Conference on Electrical and Computer Engineering Researches (ICECER 2026) 接收 |
| 主题： | 人工智能（cs.AI）；软件工程（cs.SE） |
| 引用为： | arXiv:2610.15797 [cs.AI] |
| （或 arXiv:2610.15797v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15797 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Dishu Yang [查看电子邮件]
[v1]
2026年10月11日星期日 17:41:15 UTC（76 KB）
来源：arXiv cs.AI · arxiv.org