arXiv cs.CL· Adib Sakhawat, Syed Rifat Raiyan·· 11 小时前AI 评分31
Literal Lock-In：测试语言如何改变孟加拉语习语在类型化决策模型中的字面吸引
Literal Lock-In: How Test Language Shifts Literal Attraction in Typed Decision Models on Bengali Idioms
AI 导读
研究审计了编码器打分器、解码器打分器和闭源 API 三类非生成式决策模型，发现把习语自身的字面释义放入选项列表会吸引所有模型，占各模型剩余孟加拉语错误的 65% 至 96%。
正文 · AI 翻译
摘要：决策模型——即非生成式评分器，它们对调用方提供的选项报告概率，且不输出任何文本——正越来越多地被部署为路由器、分类器和护栏。由于它们不生成任何内容，理由说明和思维链并不适用。我们审计了三个模型：一个编码器评分器、一个解码器评分器和一个封闭 API，完全通过对其输入进行干预，使用带有专家标注的孟加拉语习语，这些习语带有金标准比喻义释义和金标准字面义释义。将习语自身的字面义释义放入选项列表，会把每个模型都拉向它，占各模型剩余孟加拉语错误的 65% 至 96%。在共享同一组条目上的模型×语言矩阵显示，这在多大程度上取决于测试语言：在相同的配对条目上，每个模型在孟加拉语中被捕获的程度是英语中的 1.9 至 6.4 倍，商业模型表面上的抵抗力是其测试语言的一种属性，而能力并不能决定失败的顺序。三个模型的校准均出现退化，而在开源模型上置信度发生反转，因此以其作为门控比随机门控更差。在一个无语义的选项列表上，准确率处于随机水平，但校准最好的模型仍报告平均置信度为 0.82。代码和数据：this https URL。
| 评论： | 审稿中，33 页，12 幅图，22 张表 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.22526 [cs.CL] |
| （或 arXiv:2610.22526v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22526 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Syed Rifat Raiyan [查看电子邮件]
[v1]
2026 年 10 月 15 日星期四 18:19:02 UTC（1,631 KB）
来源：arXiv cs.CL · arxiv.org