arXiv cs.AI· Vladimir Dobrovolskii, Ibragim Badertdinov, Alexander Golubev·· 1 天前AI 评分34
Longtail-SWE：面向小众编程语言的高质量 SWE 任务基准
Longtail-SWE: High-Quality SWE Tasks for Underrepresented Languages
AI 导读
Longtail-SWE 发布 202 个 issue 解决任务，覆盖 Clojure、Dart、Elixir、Erlang、F#、Haskell、Julia、Kotlin、Lua、OCaml、R、Scala、Swift 共 13 种在现有仓库级基准中覆盖不足的语言。
正文 · AI 翻译
摘要：对于许多编程语言生态而言，具有挑战性的仓库级基准仍然有限，在这些生态中，用模糊的描述或有缺陷的测试来筛选稀缺候选任务，可能会丢弃有价值的工程问题。我们推出 Longtail-SWE，这是一个包含 13 种语言、202 个问题解决任务的基准，这些语言在现有仓库级基准中覆盖有限：Clojure、Dart、Elixir、Erlang、F#、Haskell、Julia、Kotlin、Lua、OCaml、R、Scala 和 Swift。其构建采用求解器-评审器-修复器流水线：求解器尝试每个候选任务，评审器结合求解器的轨迹和测试结果审查任务，以指导对测试和任务描述的修订。这些修订旨在纠正那些拒绝有效替代实现或接受错误解决方案的测试，同时保留具有挑战性的任务并维持其预期要求。我们评估了九种模型配置，包括前沿模型，并分析了任务解决性能、重复尝试的一致性以及资源使用情况。我们发布所有基准实例、可执行环境、完整的构建与评估工具以及智能体轨迹，并附带一组更简单的任务以支持对较小模型的评估。
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.10304 [cs.SE] |
| （或 arXiv:2611.10304v2 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.10304 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Vladimir Dobrovolskii [查看电子邮件]
[v1]
2026年11月6日星期五 23:04:32 UTC（443 KB）
[v2]
2026年11月11日星期三 13:29:54 UTC（443 KB）
来源：arXiv cs.AI · arxiv.org