IBM 与 Kaggle 上线 ScarfBench 智能体 Java 框架迁移榜单
IBM 与 Kaggle 合作推出 ScarfBench 持续维护的公开榜单，评测编码智能体能否把企业 Java 应用在 Jakarta EE、Quarkus 和 Spring 之间迁移并保持应用行为。
IBM Research：AI·2026-10-27 20:00· 1 小时前AI 评分53
IBM 与 Kaggle 推出 Java 框架迁移排行榜
AI 导读
IBM 与 Kaggle 合作推出 ScarfBench 持续维护的公开榜单，评测编码智能体能否将企业 Java 应用在 Jakarta EE、Quarkus 和 Spring 之间迁移并保持应用行为。
正文 · 原文
ScarfBench（Self-Contained Application Refactoring Benchmark，自包含应用重构基准）是 IBM 推出的开放基准，用于评估编码智能体能否在保持应用可运行行为的前提下，成功将企业 Java 应用跨框架迁移。在 Jakarta EE、Quarkus 和 Spring 迁移中，它通过聚焦工作负载和完整应用，测试生成的应用程序能否构建、启动并继续按预期运行。
企业应用现代化并非单文件编码任务。在框架之间迁移应用可能需要协调修改依赖注入、持久化、数据库访问、Web 端点、构建系统、框架描述符和部署基础设施。编码智能体可能生成看似合理、甚至能编译的迁移结果，但应用在部署或按预期行为运行时仍然失败。
ScarfBench 提出了一个实际问题：智能体能否接手一个不熟悉的应用，将其跨框架边界迁移，并留下仍然可用的软件？
IBM 于 2026 年早些时候推出 ScarfBench，作为 AI 驱动迁移的可复现基准。如今 IBM 与 Kaggle 合作，使该评估更易于复现、比较并随时间扩展。Kaggle 参与了评估设计咨询，在其平台上独立复现并运行了 ScarfBench，同时赞助了算力，并将在新模型发布时持续维护该基准。此次合作将 ScarfBench 从已发布的基准转变为对智能体软件现代化进展的持续更新视图。
最初的 ScarfBench 公告详细介绍了基准设计、经开发者验证的工作负载以及可复现的评估方法。本文重点介绍最新评估对模型与智能体框架组合的启示、它们的失败之处，以及该基准如何与 Kaggle 共同演进。
评估模型与框架组合
ScarfBench 评估的是智能体系统，而非孤立的语言模型。每项结果反映的是模型与编码智能体框架的配对，该框架决定模型如何与代码仓库和开发环境交互。因此，结果应被理解为模型/框架组合的结果，而非对底层模型本身的单独测量。
在 204 项迁移任务中，Gemini 4 Argon 搭配 Antigravity 在主要冒烟测试指标上以 75.2% 排名第一，其次是 Claude Opus 5.5 搭配 Claude Code 的 70.5%，以及 Claude Opus 5 搭配 Claude Code 的 69.8%。共评估了十种模型与框架配置。
| 排名 | 模型 | 框架 | 冒烟测试 % | 全部通过 % | 平均 % |
|---|---|---|---|---|---|
| 1 | Gemini 4 Argon | Antigravity | 75.2 | 71.1 | 85.9 |
| 2 | Claude Opus 5.5 | Claude Code | 70.5 | 72.1 | 82.0 |
| 3 | Claude Opus 5 | Claude Code | 69.8 | 60.8 | 79.7 |
| 4 | GPT-6.1 Sol | Codex | 68.4 | 62.7 | 76.8 |
| 5 | Gemini 3.8 Flash | mini-swe | 66.0 | 62.3 | 77.6 |
| 6 | GPT-6 Astra | Codex | 65.4 | 61.4 | 75.4 |
| 7 | Qwen 3.8 Max | qwen-code | 63.7 | 59.3 | 76.1 |
| 8 | Kimi K3 | kimi-code | 61.1 | 50.7 | 71.2 |
| 9 | Gemini 3.1 Pro | OpenHands | 39.5 | 35.1 | 50.5 |
| 10 | Gemma 4 26B-A4B | mini-swe | 24.5 | 17.6 | 30.8 |
这三个指标揭示了一个重要的细微差别。smoke 分数——即排行榜指标——会给予部分分数，并给更大的测试套件更高的权重。按这一衡量标准，Gemini 4 Argon + Antigravity 组合取得了最强结果。但 Claude Opus 5.5 + Claude Code 的全测试通过率最高，达到 72.1%，略微领先于 Gemini 4 Argon。换言之，Argon/Antigravity 组合在整个基准测试中获得了最多的部分分数，而 Opus 5.5/Claude Code 组合则将略多的单项迁移任务转化为完全通过的测试套件。
在敏感性分析下，排名保持稳定。204 个迁移任务中有四个任务从每个被评估的模型/框架组合中都获得了零行为测试分数。排除这四个任务后，绝对分数有所提高，但顶部的排序没有改变：Gemini 4 Argon + Antigravity 得分为 79.4%，其次是 Claude Opus 5.5 + Claude Code 的 74.5% 和 Claude Opus 5 + Claude Code 的 73.7%。这一结果表明，相对排名并非由这一小组统一困难的任务所驱动。
即使是最强的组合也留下了相当大的提升空间：在整个基准测试中，最佳总体 smoke 分数为 75.2%，没有任何配置完全通过超过约四分之三的迁移任务。
最大的差异因素是行为保真度，而非编译
最清晰的结果是代码能够构建与软件行为正确之间的差距。在排除四个全零任务后，Claude Opus 5 + Claude Code、Gemini 4 Argon + Antigravity 和 Gemini 3.8 Flash + mini-swe 各自编译了 100% 的任务，GPT-6 Astra + Codex 和 Kimi K3 + kimi-code 分别编译了 99.0% 和 98.5%，Claude Opus 5.5 + Claude Code 和 GPT-6.1 Sol + Codex 分别编译了 98.0% 和 98.5%。然而 smoke 测试分数仍然低得多。
在 10 个配置中，可解任务的编译成功率跨度约为 25 个百分点，但大多数配置集中在顶部附近，10 个中有 8 个编译率达到 97% 或以上；smoke 测试性能跨度超过 50 个百分点。在成功部署的应用中，领先配置的完全通过测试率集中在约 63% 至 76%；Kimi K3 + kimi-code 降至 53%，Gemini 3.1 Pro + OpenHands 降至 42%，Gemma 4 26B-A4B + mini-swe 降至 26%。在此评估中，保持行为比让迁移后的应用通过编译是强得多的区分因素。
代理配置在何处失败
在 745 次已分类的失败运行中，535 次（约 72%）是运行时行为失败：应用构建成功且通常能启动，但未通过行为验证。该组包括 304 次内容或断言不匹配以及 210 次丢失路由/404 失败；21 次是明确的 HTTP 500/405 错误。编译或打包失败约占 20%（152 次运行），启动或依赖注入崩溃约占 8%（58 次运行）。
-
丢失路由和 HTTP 语义：在 concurrency-taskcreator-quarkus-to-jakarta 中，Claude Opus 5 + Claude Code 在 /taskinfo 返回“File not found”且一个期望 HTTP 405 的测试失败后得分为 0/6。在 address-book-jakarta-to-quarkus 中，GPT-6 Astra + Codex 在列表和创建页面返回 HTTP 404 后得分为 2/10。
-
源框架接线残留到目标中：在 cargotracker-jakarta-to-spring 中，Gemini 3.8 Flash + mini-swe 在 Spring Boot 目标中保留了 JSF/JoinFaces 接线，随后在创建 facesContext bean 时启动失败。
-
打包方式与目标运行时的不兼容：在 cart-spring-to-jakarta 中，GPT-6 Astra + Codex 遇到了部署失败，原因是迁移后留下的打包类型不受目标 Liberty 运行时支持。
这些失败说明了为什么 ScarfBench 的验证不止于编译：在本次评估中，近四分之三被归类的失败出现在运行时。
智能体效率揭示了不同的运行特征
在排除四项敏感性任务后剩余的 200 项任务上，Claude Opus 5 + Claude Code 的轮次中位数最少，为 32。GPT-6.1 Sol + Codex 为 36，Gemma 4 26B-A4B + mini-swe 为 40，Gemini 4 Argon + Antigravity 为 42，GPT-6 Astra + Codex 为 45，Kimi K3 + kimi-code 为 47，Qwen 3.8 Max + qwen-code 和 Gemini 3.1 Pro + OpenHands 为 53，Claude Opus 5.5 + Claude Code 为 64，Gemini 3.8 Flash + mini-swe 为 79。
在可获得 harness 报告成本的情况下——即 Claude Code、Codex、mini-swe 和 kimi-code 这几种 harness；Antigravity、qwen-code 和 OpenHands 这几种 harness 未输出每次运行的成本——各配置呈现出不同的成本特征：
| 模型 / harness | 轮次中位数 | 成功运行的轮次 | 每次成功运行的成本 | 每个已解决任务的成本 |
|---|---|---|---|---|
| Claude Opus 5 / Claude Code | 32 | 30 | $1.76 | $3.83 |
| Claude Opus 5.5 / Claude Code | 64 | 60 | $5.98 | $10.10 |
| GPT-6.1 Sol / Codex | 36 | 34 | $0.64 | $1.25 |
| GPT-6 Astra / Codex | 45 | 44 | $3.55 | $6.65 |
| Gemini 3.8 Flash / mini-swe | 79 | 74 | $0.73 | $1.59 |
| Kimi K3 / kimi-code | 47 | 44 | $1.27 | $3.21 |
IBM 与 Kaggle 正在构建一个持续更新的 ScarfBench 排行榜
最新的 ScarfBench 评估也是 IBM 与 Kaggle 之间更深入合作的起点。两个团队带来了互补的优势：IBM 围绕企业 Java 现代化开发了 ScarfBench，而 Kaggle 带来了独立的评估基础设施和长期的排行榜维护。此次合作旨在使该基准能够在其原始开发环境之外复现，并在新的模型与智能体配置发布时保持可用。
此次合作有三个具体部分。第一，Kaggle 就基准与评估的严谨设计向 IBM 提供了咨询。第二，Kaggle 在其平台上独立复现并运行了评估，并赞助了算力。第三，Kaggle 将长期维护该基准，并在新模型发布时加入新模型。ScarfBench 排行榜提供了这些结果的公开视图。公开发布模型提交功能在启动时不可用，但已在路线图中。
我们目前了解到的情况
ScarfBench 围绕一个严苛的前提构建：真正参与企业现代化的编码智能体，需要按照企业最终关心的结果——可运行的软件——来评估。
最新评估进一步印证了这一前提。领先的配置几乎可以编译敏感性集合中的每一项任务，但编译掩盖了一个更难的问题。路由消失、HTTP 行为改变、源框架的装配在迁移后仍然残留、应用在启动时失败，以及业务行为偏离预期系统。
代码能够构建与软件能够运行之间的这一差距，正是 ScarfBench 最能提供信息的地方。随着新的模型/harness 组合出现，一个持续维护的基准可以显示进展是来自更好的生成变更、更有效的调试与迭代、更高效的工具使用，还是这些能力的组合。
来源：IBM Research：AI · research.ibm.com
来源：RadarAI · aihot.news