arXiv cs.AI· Hannah Li·· 1 天前AI 评分31
当双方都在适应：评估交互式 LLM 系统的挑战
When Both Sides Adapt: The Challenges of Evaluating Interactive LLM Systems
AI 导读
研究指出，交互式 LLM 系统中用户会根据模型回复调整提示词策略与任务难度，使模型回复反过来影响后续评估所用的提示词集合。作者区分了共同分布效应与诱导分布效应两类估计量，证明离线基准评测与线上 A/B 测试分别收敛于这两类效应，可能导致模型排名反转与部署建议分歧，并给出了排名保证一致的充分条件。用户适应性还会增大估计方差，并构成 reward hacking、新奇效应等常见评估难题的共同机制。
正文 · AI 翻译
摘要：在用户与 LLM 交互的系统中，用户具有适应性，在观察到 LLM 的响应后，可以改变其提示策略，以及后续任务的类型和难度。因此，模型的响应会影响模型随后被评估所依据的提示集合。我们研究了这种用户适应性和提示内生性对 LLM 评估的影响。我们为比较模型定义了两类估计量：共同分布效应，即在相同的提示分布上比较模型性能；以及诱导分布效应，即通过用户交互生成的提示分布来比较每个模型。我们表明，离线基准评估和在线 A/B 测试针对的是不同的量，两种方法的标准均值差估计量分别收敛于共同分布效应和诱导分布效应。这一区别会影响决策：这两种比较可能对模型给出不同的排名，并导致部署建议出现分歧。我们刻画了这种排名反转何时发生，并给出了一个保证排名一致的充分条件。这一结果为评估离线评估是否足以复现在线实验所建议的决策提供了实用的启发式方法。第三，我们在一个风格化的线性交互模型中表明，用户适应性会增加估计的方差。最后，我们讨论了用户适应性对实验解释的影响，并表明适应性创造了一种共同机制，导致常见的评估挑战，如奖励黑客和新奇效应。总之，这项工作强调了同时测量模型性能以及模型所诱导的用户行为变化的必要性。
| 学科： | 方法论（stat.ME）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.17239 [stat.ME] |
| （或本版本的 arXiv:2611.17239v1 [stat.ME]） | |
| https://doi.org/10.48550/arXiv.2611.17239 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Hannah Li [查看邮箱]
[v1]
2026年11月12日 星期四 18:26:51 UTC（62 KB）
来源：arXiv cs.AI · arxiv.org