arXiv cs.AI· Mingyu Chen, Zhiqing Zhong, Manyi Wang, Linxi Liang, Rouyu Chen, Pinjia He·· 6 天前AI 评分32
ReqClarifyBench：评估仓库级软件开发中的交互式需求澄清
Don't Guess, Just Ask: Evaluating Interactive Requirement Clarification for Repository-Level Software Development
AI 导读
研究者推出 ReqClarifyBench，一个面向仓库级软件开发的交互式需求澄清基准，包含游戏、小程序和网页开发共 341 个任务，每个任务配有模糊用户意图、人工验证的需求文档和代码评估产物。
正文 · AI 翻译
摘要：随着 LLM 实现软件的能力日益增强，一个关键瓶颈随之出现：它们是否真正理解用户想要什么。用户往往从模糊的意图出发，将重要需求留待通过交互来澄清。在仓库级开发中，误解会传播并导致代价高昂的返工。然而，现有基准通常从完整规格或描述不充分的请求出发评估实现，忽视了编码前的需求澄清。此前的澄清研究主要聚焦于函数级任务。因此，LLM 能在多大程度上通过交互将模糊意图转化为清晰需求，以及这种能力如何影响后续代码生成，仍不明确。
我们提出 ReqClarifyBench，一个面向仓库级软件开发的交互式需求澄清基准。它包含 341 个任务，涵盖游戏、小程序和 Web 开发，每个任务都包含一个模糊的用户意图、一份经人工验证的需求文档以及代码评估产物。我们采用基于 LLM 的用户模拟器，其人物画像源自真实对话。我们从澄清有效性和生成需求文档质量两方面评估了六个 LLM。结果表明，更强的澄清有效性并不必然带来更高的文档质量，且不同用户画像之间的表现差异显著。我们还发现，与基础 LLM 相比，编码智能体框架并未进一步提升需求文档质量。这些发现为构建基于 LLM 的端到端软件开发系统提供了洞见。
| 学科： | 软件工程（cs.SE）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.13022 [cs.SE] |
| （或 arXiv:2610.13022v1 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13022 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mingyu Chen [查看邮箱]
[v1]
2026年10月9日星期五 05:23:01 UTC（1,607 KB）
来源：arXiv cs.AI · arxiv.org