跳到正文
arXiv cs.CL· Cl\'ea Chataigner, Rebecca Ma, Prakhar Ganesh, Yuhao Chen, Afaf Ta\"ik, Elliot Creager, Golnoosh Farnadi·· 9 小时前AI 评分31

AUGMENT:用基于用户行为的自动改写框架审计 LLM

Say It Another Way: Auditing LLMs with a User-Grounded Automated Paraphrasing Framework

AI 导读

研究者提出 AUGMENT 框架,基于用户行为生成受控的提示词改写,并通过指令遵循、语义相似度和真实性检查保证质量,用于 LLM 审计。在 BBQ 和 MMLU 数据集上的案例显示,受控改写能揭示无约束改写下被掩盖的系统性弱点。该工作已被 EACL 2026 接收。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:大型语言模型(LLM)对提示措辞的细微变化高度敏感,这给可靠审计带来了挑战。以往的方法往往采用不受约束的提示改写,这可能遗漏塑造真实用户交互的语言学和人口学因素。我们提出 AUGMENT(Automated User-Grounded Modeling and Evaluation of Natural Language Transformations,自动化用户驱动的自然语言转换建模与评估),这是一个基于用户行为生成受控改写的框架。AUGMENT 利用语言学规则,并通过检查指令遵循、语义相似度和真实性来保证质量,确保改写既可靠又对审计有意义。通过对 BBQ 和 MMLU 数据集的案例研究,我们表明受控改写揭示了在不受约束的变化下被掩盖的系统性弱点。这些结果凸显了 AUGMENT 框架对可靠审计的价值。
评论: 已被 EACL 2026 接收
主题: 计算与语言(cs.CL)
引用为: arXiv:2505.03563 [cs.CL]
  (或 arXiv:2505.03563v4 [cs.CL] 查看此版本)
  https://doi.org/10.48550/arXiv.2505.03563

由 DataCite 颁发的 arXiv DOI

期刊 参考: Proceedings of the 19th Conference of the European Chapter of the Association for Computational Linguistics (EACL 2026), Volume 1: Long Papers, pp. 1441-1467, 2026

提交历史

来自:Cléa Chataigner [查看邮箱]
[v1] 2025年5月6日 星期二 14:17:30 UTC(959 KB)
[v2] 2025年5月21日 星期三 20:55:08 UTC(5,857 KB)
[v3] 2025年10月8日 星期三 23:43:57 UTC(2,629 KB)
[v4] 2026年11月16日 星期一 19:18:58 UTC(3,994 KB)

来源:arXiv cs.CL · arxiv.org