arXiv cs.CL· Xiaoshan Zhou, Zaifu Zhan·· 10 天前AI 评分31
CrisisFake：AI 生成灾害社交媒体文本检测的基准有效性研究
CrisisFake: Benchmark Validity of AI-Generated Text Detection for Disaster Social Sensing
AI 导读
研究构建了 CrisisFake 数据集，包含基于 Qwen2.5-7B 生成的 12,000 条文本，覆盖九场灾害的 3,000 个语义单元，用于检验文本检测器能否区分人类与 LLM 生成的灾害帖子。
正文 · AI 翻译
摘要：灾害社会感知将公众社交媒体帖子转化为态势感知和人道主义响应的证据，但看似合理的 LLM 生成帖子可能污染这一信息流，并扭曲对需求、损害和资源优先级的评估。本研究实证考察基于文本的检测器能否区分人类撰写与 LLM 生成的灾害帖子，以及其判断背后的文本线索。我们构建了 CrisisFake，这是一个基于 Qwen2.5-7B 的数据集，包含来自九种灾害的 12,000 条文本，组织为 3,000 个匹配的语义单元。每个单元包含一条原始人类帖子、一条经 LLM 最小程度校对的人类帖子、一条使用 LoRA 生成的保事实 LLM 生成帖子，以及该人工帖子的情感重构版本。另有一个涵盖 42 个灾害事件的独立构建的 6,000 条文本语料库，用于支持模型选择和阈值校准。我们评估了 OSM-Det、Fast-DetectGPT、Binoculars 以及跨五个模型系列的直接 LLM 评判器，并进一步考察灾害领域校准和表层语言线索（如转推标记、用户提及、话题标签、URL、标点和文本长度）如何影响检测器性能。在十四个冻结配置中，AUROC 范围为 0.402 至 0.517，而在校准得出的低假阳性操作点上，最佳前瞻召回率仅为 3.6%，表明区分能力接近随机。对于 OSM-Det，经灾害校准的线性头将 AUROC 提升至 0.817；然而，在原始与事实性 LLM 的对比中，仅一个七特征文本分类器就达到 AUROC 0.784，而中和已识别的表层不对称性后，相应线性头的 AUROC 从 0.733 降至 0.594。这些发现提供了实证证据，表明 LLM 生成文本检测在很大程度上由语言线索驱动，且对于短篇灾害社交媒体而言仍不够稳健。
| 学科： | 计算与语言 (cs.CL)；计算机与社会 (cs.CY) |
| 引用为： | arXiv:2609.35821 [cs.CL] |
| （或 arXiv:2609.35821v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.35821 arXiv 颁发的 DOI 经由 DataCite |
提交历史
来自：Xiaoshan Zhou [查看电子邮件]
[v1]
2026年9月21日星期一 21:20:27 UTC（829 KB）
[v2]
2026年10月7日星期三 14:47:24 UTC（1,056 KB）
来源：arXiv cs.CL · arxiv.org