arXiv cs.CL· Sowjanya Karanam, Jayanth Bhargav·· 11 小时前AI 评分24
用蜕变测试评估情感分析模型的鲁棒性
Metamorphic Testing for Evaluating Robustness of Sentiment Analysis Models
AI 导读
一项基于批处理的轻量级蜕变测试方法被提出，用于评估情感分析等语言类 AI 系统的鲁棒性。研究对预训练分类器施加同义词替换、错字注入、语序变化和否定四种变换，并用一致性分数、翻转准确率和置信度变化三项指标衡量表现。结果显示模型在语义变化上较稳健，但对文本噪声和逻辑变换存在脆弱性。
正文 · AI 翻译
摘要：机器学习系统难以用传统软件测试方法进行测试，因为其行为是从数据中学习得到的，而非显式编程。这一挑战在自然语言处理（NLP）中尤为显著，因为微小的输入变化就可能导致模型出现意外行为。准确率和 F1 分数等常规评估指标往往无法捕捉此类不一致性。蜕变测试通过评估原始输入与变换后输入之间的预期关系来弥补这一局限。随着生成式人工智能（GenAI）和基于语言的 AI 系统日益普及，对系统性鲁棒性测试的需求变得更加突出。受这一日益增长的需求驱动，本文提出了一种轻量级、基于批处理的蜕变测试方法，用于评估此类系统的鲁棒性。具体而言，我们将情感分析视为具有代表性的 NLP 任务，并在四种变换下评估一个预训练分类器：同义词替换、拼写错误注入、词序变化和否定。利用一致性得分、翻转准确率和置信度变化，我们识别出其在处理语义变化方面的优势，以及在文本噪声和逻辑变换方面的脆弱性。这些发现凸显了蜕变测试在识别超出常规性能指标的行为不一致性方面的价值，并展示了其作为系统性框架的潜力，可用于评估基于语言的 AI 系统的鲁棒性，并在部署前指导性能改进。
| 注释： | 8 页，3 张图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.02248 [cs.LG] |
| （或 arXiv:2611.02248v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.02248 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sowjanya Karanam [查看邮箱]
[v1]
2026 年 11 月 1 日星期日 22:10:45 UTC（91 KB）
来源：arXiv cs.CL · arxiv.org