arXiv cs.CL· Tao Feng, Jiefeng Chen, Linxin Song, Yufan Zhuang, Yue Huang, Bhavana Dalvi Mishra, Chi Wang, Xiangru Tang, Jieyu Zhao, Ge Liu, Tomas Pfister, Jinsung Yoon·· 3 天前AI 评分27
T2J-BENCH：评测编程智能体在 PyTorch 到 JAX 全仓库迁移上的表现
T2J-BENCH: Benchmarking Coding Agents on Execution-Grounded PyTorch-to-JAX Repository Migration
AI 导读
研究者提出 T2J-BENCH，包含 63 个 PyTorch 到 JAX 全仓库迁移任务，覆盖 18 个模型家族，要求交付无 torch 依赖的 checkpoint 转换，并以无 torch 离线验证器按执行结果判定功能等价。
正文 · AI 翻译
作者：Tao Feng、Jiefeng Chen、Linxin Song、Yufan Zhuang、Yue Huang、Bhavana Dalvi Mishra、Chi Wang、Xiangru Tang、Jieyu Zhao、Ge Liu、Tomas Pfister、Jinsung Yoon
摘要：将机器学习代码库跨框架迁移——例如从 PyTorch 迁移到 JAX——是一项常规但代价高昂的工程任务，其本质是跨范式的：急切执行、有状态、面向对象的模块必须被重写为基于显式参数 pytree 的纯函数、可 jit 的函数。我们探究编码智能体能否正确执行此类整仓库迁移，并指出现有的代码基准测试（以单元测试通过率或与参考翻译的表面相似度来评分）无法回答这一问题：它们既不要求迁移后的系统具有相同的行为，也无法阻止 JAX 重实现通过秘密导入 PyTorch 本身来伪造等价性。我们提出 T2J-BENCH，一个包含 63 个整仓库 PyTorch 到 JAX 迁移任务的基准，涵盖 18 个模型系列，涉及训练和推理，其中无 torch 的检查点转换本身就是交付物的一部分。T2J-BENCH 以执行结果为基础评估功能等价性：每个候选实现都在独立的、无 torch 的离线验证器中运行，并对照从 PyTorch 原始版本冻结得到的参考进行评分，采用严格的独立性门控和连续的、无阈值的奖励。在二十种现成的智能体—模型配置中，最强的一种仅能获得 0.676 的奖励，而 oracle 为 0.980，尽管规格通过率很高，仍存在显著的数值和行为偏差。最后，我们贡献了 TWINHARNESS，一个基于参考的智能体测试框架，它将智能体可执行的 PyTorch 源代码转化为合法的自验证反馈；将其应用于 opus-5 智能体后，奖励从 0.649 提升至 0.723——是所有配置中最高的——且仅使用任务可见资源。
| 主题： | 软件工程（cs.SE）；计算与语言（cs.CL） |
| 引用为： | arXiv:2605.29054 [cs.SE] |
| （或使用 arXiv:2605.29054v3 [cs.SE] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2605.29054 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Jiefeng Chen [查看邮箱]
[v1]
2026年5月27日星期三 19:57:15 UTC（495 KB）
[v2]
2026年6月3日星期三 18:44:55 UTC（495 KB）
[v3]
2026年10月14日星期三 01:20:45 UTC（9,352 KB）
来源：arXiv cs.CL · arxiv.org