arXiv cs.CL· Lucinda Laurent, Muhammad Dehan Al Kautsar, Alfan Farizki Wicaksono, Fajri Koto·· 11 小时前AI 评分26
用多语言情感词典引导低资源语言的情感控制
Steering with Multilingual Lexicons for Sentiment Control in Low-Resource Languages
AI 导读
多语言情感词典可作为激活引导的替代信号,在三个模型家族中,聚合多语言词典对中低资源语言的效果优于英语衍生引导向量,而单语词典在模型预训练专精的语言上仍更强。引导效果由表征密度和预训练先验共同决定:大幅度的英语向量会压垮低资源语言的紧凑表征,造成"语言崩塌",多语言聚合的范数抑制可缓解这一问题。双语专精惩罚和潜在数值刚性等架构偏差也制约跨语言引导响应。
正文 · AI 翻译
摘要:激活引导为控制模型行为提供了一种轻量级机制,但现有方法依赖于句子级对比数据,而世界上大多数语言都缺乏这类数据。我们证明,多语言情感词典在三个模型系列中都是可行的替代方案:对于中低资源语言,聚合的多语言词典优于源自英语的引导向量;而对于模型在预训练期间已专门化的语言,单语词典仍然更强。引导效果在机制上由表征密度和预训练先验共同决定。大幅度的英语向量会压倒低资源语言的紧凑表征,导致“语言崩溃”。多语言聚合的范数抑制缓解了这种脆弱性。架构偏差,包括双语专门化惩罚和潜在数值刚性,也严重制约了跨语言引导的响应性。最终,我们的工作确立了词典作为一种实用的引导信号,并对跨语言引导动力学提供了全面的机制性解释。
| 评论: | 30 页,12 幅图,11 张表 |
| 主题: | 计算与语言(cs.CL) |
| 引用为: | arXiv:2611.03317 [cs.CL] |
| (或 arXiv:2611.03317v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.03317 arXiv 颁发的 DOI 通过 DataCite(待注册) |
提交历史
来自:Lucinda Laurent [查看电子邮件]
[v1]
2026 年 11 月 2 日星期一 15:44:02 UTC(451 KB)
来源:arXiv cs.CL · arxiv.org