arXiv cs.CL· Wenqiu Tang, Zhen Wan, Yihui Wang, Takahiro Komamizu, Ichiro Ide·· 2 天前AI 评分22
SIAB：用内部注意力信号进行情感状态推理
Emotion Is Not External Knowledge: Internal Attention Signals for Affective State Reasoning
AI 导读
研究提出 Self-targeted Internal Attention Boosting（SIAB），通过因果定位（激活补丁）在合成最小对上定位稀疏情感注意力头，并在答案位置增强这些头已关注的内容 token，无需外部标注的目标跨度。
正文 · AI 翻译
摘要：大型语言模型（LLM）越来越多地参与多轮交互，这要求维持潜在的对话状态，而不仅仅是显式事实。我们将情感状态作为从稀疏上下文线索中推断出的隐式状态来研究，这些线索在话题转换后仍然相关，并探究 LLM 是否在推理时暴露内部注意力信号以路由此类证据。此前的注意力干预依赖于有标注的域内注意力头画像和外部指定的目标跨度，限制了跨情感证据分布的迁移。我们提出自目标内部注意力增强（SIAB），它通过因果定位（详细激活修补）在合成最小对上定位稀疏情感头，并在答案位置增强这些头已经关注的内容 token；被编辑的头和目标 token 均源自模型自身行为，使得同一组头可跨 this http URL 复用。我们在 ECC 和 GoEmotions 上对三个 LLM 和多种提示设置进行评估。在各设置中，SIAB 相比提示匹配的基线在 ECC 上最高提升 +10.3 macro-F1，在 GoEmotions 上最高提升 +5.5。结合 PASTA 风格的外部监督，它最高达到 +13.84 准确率点和 +12.51 macro-F1 点，同时机制分析将增益追溯到稀疏、情感富集的注意力头，并表明层邻近性影响可加性。
| Comments: | 已被 AACL 2026（主会议）接收 |
| Subjects: | 计算与语言（cs.CL） |
| Cite as: | arXiv:2610.21347 [cs.CL] |
| （或 arXiv:2610.21347v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21347 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Wenqiu Tang [查看电子邮件]
[v1]
2026年10月15日星期四 06:29:55 UTC（3,292 KB）
来源：arXiv cs.CL · arxiv.org