arXiv cs.AI· Seona Seo, Geonhee Ahn, Hyunsoo Cho, Sookyung Kim·· 10 小时前AI 评分20
GRAP：面向 LLM 性别偏见分析的性别评分标准感知探测框架
GRAP: Gender Rubric-Aware Probing for Analyzing Gender Bias in LLMs
AI 导读
GRAP 是一个性别评分标准感知探测框架，用轻量级 logistic 探针从 10 个评分维度的开放式指令跟随回答中识别最具区分度的偏见维度。它针对现有探测方法依赖固定格式任务、且仅比较原始组级评分而忽略各维度方差的问题，以任务无关方式运行。该工作已被 ECML-PKDD 2026 Workshop on Bias and Fairness in AI 接收。
正文 · AI 翻译
摘要：随着 LLM 日益介入日常交互，开放式回答中微妙的性别偏见正带来日益增长的社会风险。现有的探测方法有两个关键局限：它们依赖固定格式的任务，例如代词消解或职业关联，而经过对齐调优的模型可以轻松处理这些任务；并且它们比较的是原始的群体级评分标准分数，忽略了各维度的方差，也掩盖了哪些偏见维度能够可靠地区分性别群体。我们提出 GRAP（Gender Rubric-Aware Probing，性别评分标准感知探测），这是一个框架，使用轻量级逻辑探测从按 10 个评分标准维度评分的回答中识别最具区分度的偏见维度，并以任务无关的方式作用于开放式指令遵循。
| 评论： | 3 页。已被 ECML-PKDD 2026 人工智能偏见与公平性研讨会接收 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.13024 [cs.AI] |
| （或 arXiv:2611.13024v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13024 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Seona Seo [查看电子邮件]
[v1]
2026 年 11 月 9 日星期一 08:09:28 UTC（3,364 KB）
来源：arXiv cs.AI · arxiv.org