arXiv cs.CL· Baran Barbarestani, Isa Maks, Piek Vossen·· 3 天前AI 评分22
ChatGPT 识别定向攻击与不当言论的效果评估与改进：一项对比研究
Assessing and Refining ChatGPT's Performance in Identifying Targeting and Inappropriate Language: A Comparative Study
AI 导读
研究对比 ChatGPT 与众包标注、专家评估，考察其识别网络评论中定向攻击与不当言论的准确性和一致性。结果显示 ChatGPT 检测不当内容表现良好，迭代提示词改进的收益几乎全部来自一次改动——简化标签体系并切换到 GPT-4，此后调整提示词结构和采样温度收效甚微。其在定向攻击语言上表现较弱且不稳定：改进前假阳性率高于专家判断，更换模型后假阴性率升高。
正文 · AI 翻译
摘要：本研究评估了 ChatGPT——一种用于自然语言处理的先进 AI 模型——在识别在线评论中的针对性和不当语言方面的有效性。随着社交网络站点上大量用户生成内容带来的审核挑战日益加剧，AI 在内容审核中的作用愈发突出。我们将 ChatGPT 的表现与众包标注和专家评估进行了比较，以评估其准确性、检测范围和一致性。我们的研究结果表明，ChatGPT 在检测不当内容方面表现良好，并且迭代式提示词优化带来的几乎全部收益都来自单一改动——简化标签方案并改用 GPT-4——此后对提示词结构和采样温度的进一步调整几乎没有效果。它在针对性语言方面的表现较弱且不够稳定，优化前相比专家判断具有更高的假阳性率，而在更换模型后则具有更高的假阴性率。本研究通过展示像 ChatGPT 这样的 AI 模型在增强自动化内容审核系统方面的潜力，同时也指出了需要进一步改进的领域，从而为该领域做出了贡献。研究结果强调了谨慎的提示词设计和模型选择，以及上下文理解，在支持自动化审核和减少有害在线行为方面的重要性。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2505.21710 [cs.CL] |
| （或使用 arXiv:2505.21710v2 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2505.21710 由 DataCite 提供的 arXiv 颁发 DOI |
提交历史
来自：Baran Barbarestani [查看电子邮件]
[v1]
2025年5月27日星期二 19:53:12 UTC（782 KB）
[v2]
2026年10月13日星期二 23:22:23 UTC（938 KB）
来源：arXiv cs.CL · arxiv.org