跳到正文
arXiv cs.CY· Yousef Attia, Jaros{\l}aw A. Chudziak·· 9 小时前AI 评分31

语言模型能排序政党立场却无法定位其刻度

Knowing Which, Not How Much: Language Models Order Party Positions They Cannot Place

AI 导读

语言模型对政党立场的判断存在“会排序、不会定量”的分离:在日韩政党立场测试中,要求对四个政党排序时模型表现超过最强固定答案基线两倍以上,但要求把单一政党放到同一量表上时却低于该基线。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:语言模型越来越多地被问及真实行为体的立场:某政党的纲领优先考虑什么,某机构承诺了什么。此类判断是可分级的,既包含顺序,也包含量级。几乎所有测试这些判断的基准都一次只询问一个实体,然后将该得分解读为模型对该领域的知识。然而,顺序和量级未必会同时习得。关于社会实体的文本中比较远多于测量,因此模型可能持有一个可靠的排序,而其下却没有锚定的量表。我们探究模型能否将已记录的社会立场置于某个量表上,还是只能对其所比较的行为体进行排序,以及这对衡量此类知识意味着什么。我们在日本和韩国的政党立场上对此进行了测试,比较宣言项目(Comparative Manifesto Project)的编码数据提供了罕见的外部答案键。当被要求对四个政党排序时,模型比最强的固定答案基线高出两倍以上;当被要求将某一政党置于同一量表上时,模型却低于该基线。排序在这些失败的定位中依然存在,而提供编码值可将定位提升至接近上限。因此,关于同一事实的比较性问题和绝对性问题在此衡量的是不同的东西,而对于政党议题显著性而言,基于其中一种构建的基准无法代表另一种。
评论: 已被第40届太平洋亚洲语言、信息与计算会议(PACLIC 40)接收
主题: 计算与语言(cs.CL);计算机与社会(cs.CY)
引用为: arXiv:2611.21878 [cs.CL]
  (或 arXiv:2611.21878v1 [cs.CL] 为此版本)
  https://doi.org/10.48550/arXiv.2611.21878

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Yousef Attia [查看邮箱]
[v1] 2026年11月16日星期一 20:44:26 UTC(106 KB)

来源:arXiv cs.CY · arxiv.org