arXiv cs.CL· Hieu Tran, Hong Yu·· 12 小时前AI 评分34
强化学习究竟教会了 LLM 智能体什么？一项审计市场合谋执法机制的研究
Is Anyone Enforcing the Cartel? What Reinforcement Learning Teaches LLM Agents in Markets
AI 导读
研究提出一种审计方法，通过在市场的反事实副本中强制一名成员作弊，检验 LLM 定价智能体是否真正执行合谋。经 RL 训练的小型 LLM 只学会训练对手所奖励的行为：面对惩罚型对手学会被威慑，面对作弊型对手学会跟随降价，却几乎不会尝试能威慑对手的价格战。Q-learner 仅在定价场景中执行合谋，提示词驱动的 LLM 多靠忽略市场的固定规则达成类卡特尔结果，而结果指标无法区分这些情况。
正文 · AI 翻译
摘要：对大型语言模型（LLM）智能体的评估报告称，定价智能体会以牺牲他人利益为代价进行合谋。然而，合谋是由执行来定义的：卡特尔——即竞争者共享垄断利润——只有在作弊成员受到惩罚时才能维持。我们引入一种审计方法，通过在市场的反事实副本中迫使某一成员作弊来检验执行情况，并用它来研究强化学习（RL）在定价和交易中教会了智能体什么。经 RL 训练的小型 LLM 学会了其训练对手所奖励的行为，但仅限于它们容易尝试的行为。在自我对弈中，它们学会了忽略对手的固定规则；面对惩罚型对手，学会被威慑；面对作弊型对手，学会匹配其降价，而从不学会本可威慑对方的代价高昂的价格战，因为它们很少尝试。被强制纳入训练的价格战会被学会，但主要仅限于被强制发生的场景。面对自身的副本，被威慑的智能体和匹配型智能体都能获得相同的卡特尔利润，但只有匹配型智能体能够执行这些利润，而且执行得很薄弱：只是作为副产品，且仅针对大幅降价。Q 学习器仅在定价中执行合谋。经提示的 LLM 主要通过忽略市场的规则达到类似卡特尔的结果。结果指标无法区分这些情况；而审计可以。
| 评论： | 45 页，13 幅图，20 张表 |
| 主题： | 计算与语言（cs.CL）；计算机科学与博弈论（cs.GT）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.28787 [cs.CL] |
| （或 arXiv:2610.28787v1 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.28787 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Hieu Tran [查看邮箱]
[v1]
2026 年 10 月 20 日星期二 18:18:10 UTC（378 KB）
来源：arXiv cs.CL · arxiv.org