arXiv cs.CL· Chaeho Lee, Junyup Kim, Wansoo Kim, Young Min Jung, Sang Ho Lee·· 10 小时前AI 评分29
利用心理物理注意分布实现眼动增强的奖励建模
Leveraging Psychophysical Attentional Distribution for Gaze-Augmented Reward Modeling
AI 导读
研究将人类字母识别中的注意分布引入奖励模型训练，把视觉注意建模为以当前注视点为中心的空间渐变分布，替代以往以注视点为中心的建模方式。实验显示，采用该注视分布的奖励模型在偏好预测准确率上高于基线模型，部分结果与人类阅读注意的既有发现定性一致，论文已被 NeurIPS 2026 主会接收。
正文 · AI 翻译
摘要：将人类反馈整合到语言模型中，作为使模型输出与人类偏好对齐的手段，已受到越来越多的关注，其中基于人类反馈的强化学习（RLHF）是偏好对齐的一个突出框架。近期研究已将眼动追踪（ET）数据作为奖励模型训练的额外监督信号，使奖励学习建立在人类阅读行为之上。在此方法基础上，我们利用认知心理学关于人类字母识别的既有发现，扩展了先前以注视点为中心的模型。具体而言，我们将视觉注意力建模为以当前注视位置为中心的空间分级分布，并将该表示纳入奖励模型训练。结果表明，使用所提出的注视分布训练的奖励模型比基线模型取得了更高的偏好预测准确率。此外，我们实验中的一些结果在定性上与关于人类阅读过程中注意力的既有发现一致，这表明它们可能捕捉到了人类注意力分配中具有认知意义的方面。
| 评论： | 15 页，4 幅图。已被第 40 届神经信息处理系统年会（NeurIPS 2026 主会）接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL）；人机交互（cs.HC） |
| 引用为： | arXiv:2611.13477 [cs.LG] |
| （或 arXiv:2611.13477v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13477 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Chaeho Lee [查看邮箱]
[v1]
2026 年 11 月 10 日星期二 02:36:14 UTC（2,079 KB）
来源：arXiv cs.CL · arxiv.org