SWE-Clar：评估编码智能体澄清需求的新基准
热点事件持续更新
SWE-Clar：评估编码智能体澄清需求的新基准
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
研究者 Jialei Li 等提出并发布 SWE-Clar 基准，用于评估编码智能体在自由职业场景下澄清不完整客户需求并交付代码的能力。基准包含 100 个取自 Upwork 的真实开发任务，每项总付款至少 4,000 美元；每个任务先让编码智能体与客户智能体进行多轮交互，再分别独立运行代码实现与澄清评估，后者由 512 道带参考答案的问题构成。 在九个前沿模型的测试中，实现得分最高的 GPT-6 Astra 任务通过率也仅 67%。
AI 根据报道生成 · 47 分钟前更新
最新进展10月26日 12:00
SWE-Clar：编码智能体能否澄清不完整的客户需求并交付绿地软件？报道时间线
沿着报道，了解事件的不同侧面。
10月26日
- arXiv cs.CLSWE-Clar：编码智能体能否澄清不完整的客户需求并交付绿地软件？
研究者提出 SWE-Clar 基准，用于评估编码智能体在自由职业场景下澄清需求并实现代码的能力，包含 100 个基于 Upwork 真实开发任务（每项总付款至少 US$4,000）的任务。每个任务先进行编码智能体与客户智能体的多轮交互，再分别独立运行代码实现与澄清评估，后者由 512 道配参考答案的问题构成。九个前沿模型测试中，实现得分最高的 GPT-6 Astra 任务通过率也仅 67%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。