跳到正文
arXiv cs.AI· Pavel Kireyev·· 4 小时前AI 评分52

RAW:测量已部署 LLM 拒答对用户留存影响的因果方法

RAW: Refusal Aversion in the Wild, A Causal Measurement Method for Deployed LLMs

AI 导读

论文提出 RAW 方法,利用 LLM 的随机性作为自然实验,在相同提示下模型有时拒答有时不拒答,从而识别拒答对用户侧的因果影响。作者将该方法应用于 LMSYS-Chat-1M 和 WildChat 中的 15 个已部署 LLM,发现其中约一半可精确测量的模型,一次拒答会使后续再参与度下降 3 到 17 个百分点,其余模型未观察到可区分效应。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:已部署的 LLM 每天处理数亿次对话,并拒绝相当一部分用户请求,然而拒绝在用户侧的成本——用户是否会因此流失以及流失多少——在任何生产模型上都未被测量:这是构建于其上的面向消费者平台的一个盲区。在前沿实验室的产品上,对拒绝进行 A/B 测试在伦理和运营上都受到限制,而通过固定 API 部署这些模型的第三方平台则无法进行此类测试。我们提出 RAW,一种利用 LLM 随机性作为自然实验的方法:在任何现有日志中,对于近乎相同的提示,同一模型有时拒绝、有时不拒绝,这种差异识别出了拒绝在用户侧的因果效应。将该方法应用于 LMSYS-Chat-1M 和 WildChat 中的 15 个已部署 LLM,并采用用户聚类推断,我们发现,对于约一半我们可以精确测量的模型,一次拒绝会造成 3 到 17 个百分点的后续再参与度损失;其余模型未显示出可区分的效应,其中一次部署的正向点估计可追溯到持续用户重试被拒绝的请求。我们的贡献是这一测量方法,它仅凭日志即可在任何已部署模型上运行,成本约为每 1,000 次对话 \$0.30。我们发布了标签、审核分数、提示嵌入和流水线代码。
评论: 已被 EMNLP 2026 Industry Track 接收。含附录共 26 页,8 幅图,11 张表。代码:此 https URL 数据:此 https URL
主题: 计算与语言(cs.CL);人工智能(cs.AI);人机交互(cs.HC);一般经济学(econ.GN)
引用为: arXiv:2611.21641 [cs.CL]
  (或 arXiv:2611.21641v1 [cs.CL] 查看此版本)
  https://doi.org/10.48550/arXiv.2611.21641

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Pavel Kireyev [查看邮箱]
[v1] 2026 年 9 月 25 日星期五 18:55:32 UTC(1,899 KB)

来源:arXiv cs.AI · arxiv.org