arXiv cs.CL· Selen Erkan, Bastian Boll, Kristian Kersting, Bj\"orn Deiseroth, Letitia Parcalabescu·· 12 小时前AI 评分31
超越提示词与解析器工程：用软提示微调实现自动化 LLM 评测
Beyond Prompt and Parser Engineering: Soft-Prompt Tuning for Automated LLM Evaluation
AI 导读
研究者提出一种基于软提示微调的自动化 LLM 评测方法，仅优化 10 个软提示向量（7B 模型约 0.0006% 参数）即可让模型适配特定 benchmark 格式，避免格式遵循能力拖累知识得分。在 7 个模型、11 个数据集上，该方法约 150 步（约 1200 样本）即饱和格式遵循能力，效果接近强评测框架基线，且在长上下文数据集和输出风格不同的指令微调变体上评测信号更优。
正文 · AI 翻译
摘要：基准测试分数往往不能准确反映大型语言模型（LLM）的知识水平，因为它们依赖于模型遵循特定格式要求的能力等因素。这尤其不利于基础模型，这些模型可能知道正确答案，但缺乏（通常在训练后引入的）按指令组织答案的能力。为克服这一问题，我们提出了一种高效、自动化且与架构无关的模型评估方法，基于软提示调优。通过在较短的调优周期内仅优化 10 个软提示向量（对于 7B 模型约为 0.0006% 的参数），我们使模型适应特定的基准测试格式，弥合格式遵循方面的差距，确保底层知识在基准测试分数中得到准确反映。我们在 7 个模型和 11 个数据集上评估了软提示调优。结果表明：(a) 软提示调优在 150 步（约 1200 个样本）内即可使格式遵循达到饱和，同时保持知识准确性；(b) 在已有充分研究的基准测试上，它与强评估框架基线密切匹配，且无需手动设计基准测试专用的提示或解析器；(c) 在基线较难迁移的场景中，包括长上下文数据集和具有不同输出风格的指令调优变体，它改善了评估信号；(d) 它产生更干净的输出，提高了精确匹配评分与独立 LLM 评判者之间的一致性。总体而言，我们提出了一种基于有限预算软提示调优的轻量、自动化且灵活的协议，用于评估 LLM 知识。
| 评论： | 9 页，7 张图 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| ACM 分类： | I.2.7 |
| 引用为： | arXiv:2606.12117 [cs.CL] |
| （或本版本的 arXiv:2606.12117v2 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2606.12117 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Selen Erkan [查看邮箱]
[v1]
2026 年 6 月 10 日星期三 14:12:19 UTC（652 KB）
[v2]
2026 年 10 月 22 日星期四 12:34:38 UTC（691 KB）
来源：arXiv cs.CL · arxiv.org