arXiv cs.CY· Yousef Attia, Jaros{\l}aw A. Chudziak·· 9 小时前AI 评分31
语言模型能排序政党立场却无法定位其刻度
Knowing Which, Not How Much: Language Models Order Party Positions They Cannot Place
AI 导读
语言模型对政党立场的判断存在“会排序、不会定量”的分离:在日韩政党立场测试中,要求对四个政党排序时模型表现超过最强固定答案基线两倍以上,但要求把单一政党放到同一量表上时却低于该基线。
正文 · AI 翻译
摘要:语言模型越来越多地被问及真实行为体的立场:某政党的纲领优先考虑什么,某机构承诺了什么。此类判断是可分级的,既包含顺序,也包含量级。几乎所有测试这些判断的基准都一次只询问一个实体,然后将该得分解读为模型对该领域的知识。然而,顺序和量级未必会同时习得。关于社会实体的文本中比较远多于测量,因此模型可能持有一个可靠的排序,而其下却没有锚定的量表。我们探究模型能否将已记录的社会立场置于某个量表上,还是只能对其所比较的行为体进行排序,以及这对衡量此类知识意味着什么。我们在日本和韩国的政党立场上对此进行了测试,比较宣言项目(Comparative Manifesto Project)的编码数据提供了罕见的外部答案键。当被要求对四个政党排序时,模型比最强的固定答案基线高出两倍以上;当被要求将某一政党置于同一量表上时,模型却低于该基线。排序在这些失败的定位中依然存在,而提供编码值可将定位提升至接近上限。因此,关于同一事实的比较性问题和绝对性问题在此衡量的是不同的东西,而对于政党议题显著性而言,基于其中一种构建的基准无法代表另一种。
| 评论: | 已被第40届太平洋亚洲语言、信息与计算会议(PACLIC 40)接收 |
| 主题: | 计算与语言(cs.CL);计算机与社会(cs.CY) |
| 引用为: | arXiv:2611.21878 [cs.CL] |
| (或 arXiv:2611.21878v1 [cs.CL] 为此版本) | |
| https://doi.org/10.48550/arXiv.2611.21878 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Yousef Attia [查看邮箱]
[v1]
2026年11月16日星期一 20:44:26 UTC(106 KB)
来源:arXiv cs.CY · arxiv.org