arXiv cs.AI· Lucas Jing, Xinqi Wang, Liao Zhang, Simon S. Du·· 10 天前AI 评分24
PBT-Bench：面向 AI 智能体基于属性的测试基准
PBT-Bench: Benchmarking AI Agents on Property-Based Testing
AI 导读
PBT-Bench 是覆盖 40 个真实 Python 库、100 道基于属性测试问题的基准，每题注入语义 bug 共 365 个（平均 3.65 个），要求智能体从文档推导不变量并写出 Hypothesis @given 策略。
正文 · AI 翻译
摘要：现有的代码基准测试衡量的是智能体能否生成可复现已知缺陷的测试，或者能否生成修复所述问题的
补丁。两者都未能单独考察基于属性的测试这一独特技能：从文档中推导出语义不变式，
然后构造出足够精确的输入生成策略，使随机搜索能够揭示违规行为。
我们提出了 PBT-Bench，这是一个包含 40 个真实 Python 库中 100 道精选基于属性测试问题的基准。每道问题
注入一个或多个语义缺陷（共 365 个，平均每道问题 3.65 个），其设计使得默认策略的随机输入几乎
永远不会触发它们；智能体必须阅读库的文档，识别相关不变式，并指定一个 Hypothesis
@given 策略，将质量集中在触发区域。缺陷按三个难度等级（L1-L3）分层，涵盖
从单约束边界缺陷到有状态的、跨函数协议违规。我们在两种
提示机制（开放式基线 vs. 显式 Hypothesis 脚手架）下评估了八个当代 LLM，每种配置进行三次独立运行。在 PBT 引导提示下的缺陷
召回率在各模型间为 42.1% 至 83.4%；在开放式基线下为 31.4% 至 76.7%。
Hypothesis 脚手架将中等能力模型提升了超过 20 个百分点，但对最强模型的增益较小，
其中两个例外甚至出现性能下降，表明结构化提示可能干扰某些模型行为，
而非对其形成补充。最难的缺陷被证明是模型特定的：不同架构在不同问题上失败，留下持续
存在的缺口，没有任何单一模型能够填补。我们发布了该基准、测试框架和完整评估语料库，以支持
基于文档的语义推理的下游工作。
| 评论： | 已被 NeurIPS 2026 接收，评估与数据集方向（海报） |
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.15229 [cs.SE] |
| （或本版本使用 arXiv:2605.15229v4 [cs.SE]） | |
| https://doi.org/10.48550/arXiv.2605.15229 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Guohao Jing [查看电子邮件]
[v1]
2026年5月13日星期三 18:01:05 UTC（345 KB）
[v2]
2026年5月20日星期三 00:07:46 UTC（345 KB）
[v3]
2026年5月30日星期六 04:31:25 UTC（345 KB）
[v4]
2026年10月6日星期二 07:14:56 UTC（374 KB）
来源：arXiv cs.AI · arxiv.org