arXiv cs.CL· Liping Yang, Yongqi Leng, Jingting Zheng, Yuqi Ren, Shaolin Zhu, Deyi Xiong·· 11 小时前AI 评分38
ABench：面向分类价值观的中文大语言模型对抗性基准
ABench: Adversarily Benchmarking Large Language Models across Taxonomized Values
AI 导读
研究者提出 ABench，一个针对中文分类价值观的细粒度手工构建基准，基于 158 个细分价值子类设计 2,895 道开放式问题，通过角色扮演和逻辑陷阱探测模型在对抗性诱导下的立场稳定性。对 16 个主流 LLM 的实验显示，多数模型在复杂价值观对抗攻击下得分低于 60。该基准已被 EMNLP 2026 主会接收，数据将公开释放。
正文 · AI 翻译
摘要：确保大型语言模型（LLM）与多元文化价值观保持一致，对其安全的全球部署至关重要。然而，现有的对齐基准主要以英语为中心，或局限于简单的判别性任务。此外，它们往往无法有效评估模型在特定文化语境下面对复杂对抗性诱导时的鲁棒性。为解决这些局限，我们提出 ABench，一个针对中文分类价值观量身定制的细粒度人工构建基准。ABench 以严谨的分层分类体系为基础，涵盖 158 个派生价值观子类别，由 2,895 个开放式问题组成。这些问题采用角色扮演和逻辑陷阱等技术，以探测模型在对抗性诱导语境中立场稳定性。此外，我们提出一个加权自动评估框架，利用针对具体问题的评分标准进行细致评估。对 16 个主流 LLM 的大量实验表明，大多数模型在遭受针对价值观的复杂对抗攻击时表现出显著脆弱性（得分低于 60）。这凸显了需要更稳健、更具文化针对性的对齐策略。我们的数据将公开发布，以促进对分类价值观对齐的进一步研究。
| 评论： | 已被 EMNLP 2026（主会议）接收。16 页，6 幅图，7 张表 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.27611 [cs.CL] |
| （或 arXiv:2610.27611v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.27611 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Liping Yang [查看邮箱]
[v1]
2026 年 10 月 20 日星期二 04:23:14 UTC（835 KB）
来源：arXiv cs.CL · arxiv.org