arXiv cs.AI· Timoth\'ee Lesort, Alejandra L\'opez de Aberasturi G\'omez, Tristan Karch, Tom Veniat, Philippe Modard, Karl Tuyls, Ludovic Denoyer·· 11 小时前AI 评分31
用国际象棋基准评测大语言模型的提示词优化
Benchmarking Prompt Optimization of Large Language Models With Chess
AI 导读
研究者基于 1,118 道 Lichess 谜题构建国际象棋基准，用于研究冻结 LLM 的自动提示词优化（APO），在 8 个目标模型上评测 6 种 APO 算法。
正文 · AI 翻译
摘要：随着大语言模型能力的提升，评估它们变得日益困难：基准可能饱和，公开测试集存在污染风险，而评估更难的任务可能需要昂贵的评分或执行基础设施。这些挑战在自动提示优化（APO）中被进一步放大，因为在整个搜索更好提示的过程中会反复进行评估。因此，研究 APO 需要一个评分成本低且确定性强、难度足以留有改进空间、并能随模型演进而更新的基准。我们构建了一个基于 1,118 道 Lichess 谜题的国际象棋基准，用于研究冻结 LLM 的 APO：我们在不更新模型权重的情况下优化其提示。国际象棋结合了低成本的精确匹配评分、基于引擎的替代走法评估，以及难度可调、可再生的题目来源。与仅报告在孤立测试项上成功与否的评估不同，该基准还将解谜收益与同一领域内的短对局推演联系起来。我们用它来评估六种 APO 算法在八个目标模型上的表现，不仅衡量基线强度，还衡量每个模型对优化的响应程度，以及优化后的提示能否跨模型迁移并迁移到对局中。因此，国际象棋是适合 APO 的基准：它 (i) 具有挑战性，即使是被评估的最强模型 Gemini 3.5 Flash（用作元模型）也仅解出约 55\% 的谜题；(ii) 具有区分度，能揭示不同方法和模型上的提升、不变表现和退步；(iii) 可再生，新谜题可降低污染风险，难度可调可在模型改进时保持提升空间；(iv) 成本可负担，完整研究运行费用约为 \$800。我们发布了谜题、优化与评估代码以及数据集更新脚本（此 https URL）。
| 学科： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.00416 [cs.AI] |
| （或 arXiv:2610.00416v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.00416 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Timothée Lesort [查看电子邮件]
[v1]
2026年9月30日星期三 14:25:55 UTC（224 KB）
[v2]
2026年10月15日星期四 21:18:51 UTC（228 KB）
来源：arXiv cs.AI · arxiv.org