跳到正文
arXiv cs.CY· Tunazzina Islam·· 9 小时前AI 评分24

当目标与评估器不一致:评估事后人口统计框架缓解的迁移性

When Objectives and Evaluators Disagree: Evaluating Transfer for Post-hoc Demographic Framing Mitigation

AI 导读

研究将 LLM 生成文本的事后改写缓解视为迁移问题,在 660 组性别对和 1,980 组年龄对比的气候信息上测试。始终针对 Persuasion Bias Index(PBI)较低消息的固定策略在不同轴和聚合方式下迁移不一致;自适应策略在两侧提出编辑但最多接受一个,在两个评估器家族的八项比较中有七项优于该规则,主要靠编辑更多消息对而非引导方向选择,且保留风险更高。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:当源模型不可访问时,事后重写被用于减少 LLM 生成文本中的人口统计差异。一次重写可能仅仅因为改善了自身目标或满足了其选择器而看起来成功。我们将其作为迁移问题,在 660 个性别对和 1,980 个年龄对比的人口条件化气候信息上开展研究。重写器提出编辑,选择模型在满足约束的候选中进行选择,而一个不参与前两者的独立评估器对成对框架差异进行评分。一个始终针对 Persuasion Bias Index(PBI)较低信息的固定策略在不同轴和结果聚合方式上迁移不一致。一个自适应策略在两侧提出编辑但至多接受一个,在来自两个评估器家族的八项比较中有七项优于该规则(应用于相同候选),主要靠编辑更多对而非引导方向选择,且保持风险更高。同时编辑两条信息的策略在更少的对上带来最大的点值下降。这两种策略在保持阈值扫描中均减少差异;绝对评分因评估器家族和提示而异。缩小 PBI 差距在两个评估器家族下均增加维度均值差异。缓解效果应作为跨目标、评估器及其提示以及编辑策略的迁移来报告。
评论: 已被 EACL 2027 主会议接收
主题: 计算与语言(cs.CL);人工智能(cs.AI);计算机与社会(cs.CY);机器学习(cs.LG);社会与信息网络(cs.SI)
引用为: arXiv:2611.25258 [cs.CL]
  (或 arXiv:2611.25258v1 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.25258

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Tunazzina Islam [查看电子邮件]
[v1] 2026年11月18日星期三 22:42:03 UTC(2,285 KB)

来源:arXiv cs.CY · arxiv.org