arXiv cs.CL· Khoi-Nguyen Tran·· 6 天前AI 评分22
perturber：面向语义保持文本扰动的无状态服务
perturber: A Stateless Service for Semantics-Preserving Text Perturbations
AI 导读
perturber 是一个无状态服务和 Python 库，每次调用只施加一个语义保持扰动，来自覆盖 11 个家族的 68 个扰动的一手目录。它基于单一原语，组合交由调用方链式调用，因此服务与库的输出天然一致。该工作评估工具本身的正确性、可复现性与成本，并逐扰动测量语义保持性，而非假设其成立。
正文 · AI 翻译
摘要：在干净基准上对大语言模型（LLM）的评估高估了模型的鲁棒性：真实输入到达时是受扰动的，而这些保持语义的变体常常会改变模型答案。要系统地研究这一点，需要一次施加一个扰动，可复现，并且在任何运行的地方都完全相同，然而现有工具将它们与基准测试栈耦合在一起，而不是将它们打包为可复用的变换层。我们提出 perturber，一个无状态服务和 Python 库，每次调用恰好施加一个保持语义的扰动，扰动取自包含 11 个族、68 个扰动的第一方目录。它开启一个单一原语，组合留给调用者通过链式调用来完成，因此该服务和该库在构造上产生相同的输出。我们评估的是该工具本身，即其正确性、可复现性和成本，而不是任何模型的鲁棒性，并逐扰动测量语义保持性，而不是假定它。该演示增加了一个实时演练场、一个可用于基准选择的可内省目录，以及一条命令即可复现的评估。
| 评论： | 14 页（6 页正文 + 参考文献和附录），5 幅图，13 张表。代码：this https URL |
| 主题： | 计算与语言（cs.CL） |
| ACM 分类： | I.2.7 |
| 引用为： | arXiv:2610.12667 [cs.CL] |
| （或 arXiv:2610.12667v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12667 arXiv 通过 DataCite 颁发的 DOI（待注册） |
提交历史
来自：Khoi-Nguyen Tran [查看电子邮件]
[v1]
2026 年 10 月 8 日星期四 19:44:05 UTC（153 KB）
来源：arXiv cs.CL · arxiv.org