跳到正文
arXiv·· 12 天前AI 评分31

缺失的最小对比对:LLM 刻板印象评估

The Missing Minimal Pair: Stereotype Evaluation in LLMs

AI 导读

针对大语言模型偏见测量中常用的单对比句对数似然比较,研究者指出其往往不可靠:仅替换同一刻板印象的属性词就可能得到逻辑不一致的偏好。为此提出双最小对比对设置,引入两条比较轴,并给出数据增强框架,通过生成改写句与替代属性来填补现有刻板印象数据集的关键缺口。

来源:arXiv · arxiv.org