arXiv cs.AI· Aizan Zafar, Sreekantam Sai Venkata, Gathik Jindal, Ritu Raj Sharma, Zishan Ahmad, Tulika Saha, Srinath Srinivasa·· 10 小时前AI 评分38
TrustMod-SM：评估 LLM 社交媒体内容审核可信度的多维度基准
TrustMod-SM: A Multi-Axis Benchmark for Evaluating Trustworthiness of LLMs in Social Media Content Moderation
AI 导读
研究者推出 TrustMod-SM 基准，覆盖 8 个数据集约 29,000 条样本，从真实性、公平性、安全性、鲁棒性和上下文完整性五个维度评估 LLM 内容审核可信度。
正文 · AI 翻译
摘要：大型语言模型（LLM）在社交媒体内容审核方面展现出强大潜力，但其在整体准确率之外的可信度仍缺乏充分探索。我们推出 TrustMod-SM，这是一个涵盖八个数据集、约 29,000 个实例的基准，用于从五个维度评估 LLM 审核器：可信性、公平性、安全性、鲁棒性和上下文完整性。我们评估了 16 个开放权重模型（0.5B-284B 参数，涵盖纯文本和视觉-语言架构）以及一个闭源前沿模型，发现持续存在的可信度差距。更高的检测准确率往往伴随更大的人口统计学差异，模型经常顺从隐瞒或夸大提示，对错误预测赋予高置信度，很少升级模糊案例，并且难以区分仇恨言论与反击言论或 reclaimed language（尤其在 8B 参数以下）。规模扩展并不能统一解决这些问题，也没有单一模型在全部五个维度上表现优异。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.12970 [cs.AI] |
| （或 arXiv:2611.12970v1 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.12970 由 DataCite 颁发 arXiv DOI |
提交历史
来自：Zishan Ahmad [查看电子邮件]
[v1]
2026 年 11 月 7 日星期六 16:37:46 UTC（2,016 KB）
来源：arXiv cs.AI · arxiv.org