arXiv cs.AI· Linrong Cai, Taiming Lu, Haozhe Chen, Zhuang Liu·· 11 小时前AI 评分45
XStack：评估 AI 智能体迁移 ML 仓库的基准
XStack: A Benchmark for ML Repo Migration
AI 导读
研究者推出 XStack 基准，用于评估 AI 智能体将 PyTorch 仓库迁移到 JAX/TPU 生态的能力，智能体需交付通过评分标准的 JAX 仓库。测试中 Claude Opus 5 通过率 75%，GPT-5.6-sol 为 45%，其余智能体均不超过 40%。该基准已发布，旨在让跨框架、跨硬件的可靠迁移变得可衡量。
正文 · AI 翻译
摘要：机器学习代码应当在研究人员选择的地方运行，而不是在它最初被编写的地方运行。如今，机器学习代码主要存在于两个生态系统中：NVIDIA GPU 上的 PyTorch 和 Google TPU 上的 JAX。在它们之间迁移代码仓库意味着要跨框架和硬件进行构建与测试。这种迁移 (1) 是实际需求，因为它为研究人员解锁了不同的硬件；(2) 是一个天然的基准：它涉及不同的框架和硬件，覆盖整个代码仓库，并且是长周期且具有挑战性的。我们推出 XStack，一个评估智能体在这两个生态系统之间迁移机器学习代码仓库的基准。每个智能体收到一个 PyTorch 仓库和一台干净的 TPU 机器，并且必须交付一个 JAX 仓库。如果其输出满足我们的评分标准，即基于源仓库已发布的结果并由我们进行认证和校准，则通过。智能体的迁移仍然不可靠：Claude Opus 5 通过率为 75%，GPT-5.6-sol 为 45%，其他所有智能体至多为 40%。XStack 是朝着将机器学习代码从其生态系统中解放出来迈出的一步。我们发布 XStack，以使跨框架和硬件的可靠迁移进展可被衡量。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.08472 [cs.LG] |
| （或 arXiv:2611.08472v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.08472 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Linrong Cai [查看电子邮件]
[v1]
2026年11月5日星期四 18:55:54 UTC（367 KB）
来源：arXiv cs.AI · arxiv.org