arXiv cs.AI· Haochuan Kevin Wang·· 11 小时前AI 评分52
研究：工具描述中的推销话术会显著影响 LLM 智能体的工具选择
Advertising to Agents: Measuring Description-Framing Bias in LLM Tool Selection
AI 导读
一项预注册研究让两个 OpenAI 模型从工具注册表中调用工具，发现叠加式夸赞话术使工具被选中的概率提升约 43 个百分点，效果与可验证规格相当甚至更强。列表顺序的影响更大，完全相同的条目中先列出的工具被选中概率高出约 72 个百分点；结构化字段能帮助智能体选到能力足够的工具，但旁边的推销文字会削弱或抹掉这一收益。
正文 · AI 翻译
摘要：AI 智能体常从注册表中挑选工具，每个提供方会撰写自己工具的描述；我们研究其中的推销语言是否会改变智能体选择哪个工具。我们构建了成对的工具条目，每对仅在一处不同（赞美、可验证的规格或列表顺序），并让两个 OpenAI 模型调用其中一个工具。在一项预注册研究中，叠加式赞美（四种）使某工具的选中率提高约 43 个百分点，与可验证规格的效果相当甚至更好。赞美还会把部分选择拉向数值上限过小的工具。在条目完全相同的情况下，排在首位的工具被选中的频率高出约 72 个百分点。结构化字段有助于智能体选出能力足够的工具；而与之并列的推销文字会削弱甚至抹去这一收益。一项针对五个模型的探索性研究显示了相同方向；“Sponsored”标签削弱了这一效应，而系统提示中的警告改变了一个模型的选择。注册表可以将上限列为字段、对智能体隐藏推销文字，并随机化顺序。叠加式赞美在留出领域上得到复现；在多重检验校正后，没有任何单一类型的赞美能够复现。预注册结果在盲法短语评分完成前仍属暂定，且仅涵盖两个小型模型。
| 评论： | 27 页（正文 9 页），7 幅图，29 张表。已被 NeurIPS 2026 研讨会“The Agentic Web: Networked, Continually-Adapting Agent Ecosystems”接收 |
| 主题： | 信息检索（cs.IR）；人工智能（cs.AI）；一般经济学（econ.GN） |
| ACM 分类： | I.2.7; I.2.11; K.4.4; J.4 |
| 引用为： | arXiv:2605.23916 [cs.IR] |
| （或本版本的 arXiv:2605.23916v3 [cs.IR]） | |
| https://doi.org/10.48550/arXiv.2605.23916 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Haochuan Wang [查看邮箱]
[v1]
2026 年 4 月 12 日周日 17:10:25 UTC（95 KB）
[v2]
2026 年 9 月 30 日周三 05:19:03 UTC（169 KB）
[v3]
2026 年 10 月 16 日周五 02:04:18 UTC（205 KB）
来源：arXiv cs.AI · arxiv.org