arXiv cs.CL· Mateusz Modrzejewski, Tomasz Radzikowski·· 12 小时前AI 评分34
工具增强模型比较中的提示词敏感性研究
Prompt Sensitivity in Tool-Augmented Model Comparisons
AI 导读
一项 arXiv 研究提出匹配协议，将工具调用拆分为答案读取、推理、调用决策、工具返回结果与无调用报告等环节，在五个领域、五种措辞下测试六个开源模型。结果显示，工具在程序能直接回答问题时提升准确率，却扩大了多数两两比较的措辞敏感性，且扩大程度与模型调用频率相关。作者建议在准确率之外同时报告调用频率和多措辞下的比较稳定性。
正文 · AI 翻译
摘要：语言模型在问答基准上进行比较，这些基准以单一措辞提出每个问题，而改写问题可能会改变两个模型中哪一个得分更高。我们探究为模型提供工具是否能使此类比较更加稳定。准确率提升无法回答这一问题，因为工具会同时改变从问题到被评分答案之间的多个步骤。我们提出一种匹配协议来分离这些步骤：答案读取、推理、调用决策、工具的回答，以及未调用时提供的报告。我们将该协议应用于五个领域中的六个开放模型，涵盖五种措辞。我们发现，在由程序回答问题的场景中，工具提高了准确率，并扩大了许多成对比较对措辞的敏感性。这种扩大与模型调用的频率相关，而调用频率对某些模型随措辞变化，对另一些模型则不然。它还取决于接口和指令：原生工具调用接口和第二种工具描述在分子领域未检测到扩大，而在工具返回中间结果的场景中敏感性依然存在。这些发现表明，确定性报告并不能保证稳定的比较。我们建议在准确率之外，同时报告调用频率以及多种措辞下的比较稳定性。
| 注释： | 正文 9 页加补充材料 8 页；正文含 2 幅图和 4 张表，补充材料含 2 幅图和 5 张表 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.31148 [cs.CL] |
| （或 arXiv:2610.31148v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.31148 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Tomasz Radzikowski [查看电子邮件]
[v1]
2026年10月22日星期四 12:07:01 UTC（115 KB）
来源：arXiv cs.CL · arxiv.org