arXiv cs.CL· Wanyang Hong, Zhaoning Zhang, Yi Chen, Libo Zhang, Baihui Liu, Linbo Qiao, Zhiliang Tian, Dongsheng Li·· 16 小时前AI 评分32
REA：面向对话 LLM 的角色感知启发式情景注意力框架
Role-aware Heuristic Episodic Attention for Conversational LLMs
AI 导读
针对多轮对话中指令与信息随上下文增长而衰减的问题，研究者提出 REA（Role-aware Heuristic Episodic Attention）上下文管理框架，将全局约束存入专用前缀的指令记忆，并对历史轮次按启发式选择原文、压缩表示或省略。
正文 · AI 翻译
摘要：随着多轮对话的增长，大型语言模型常常会丢失对持续指令和相关信息的追踪。我们通过三种相关的失效模式来研究这种累积性上下文衰减：注意力污染、稀释和漂移。我们提出 REA（Role-aware Heuristic Episodic Attention，角色感知启发式情景注意力），这是一个上下文管理框架，为指令和情景交互分配不同的持久性与表示策略。指令记忆将识别出的全局约束保留在专用前缀中。情景记忆保留用户输入并压缩模型回复，同时启发式检索为每个历史轮次选择原始文本、压缩表示或省略。在 Long-MT-Bench+ 上，REA 将评委评分从 6.32 提升至 7.36（满分 10 分），相对 Vanilla 基线提升 16.5%，并将平均延迟降低 2.91 倍。额外评估显示，在参数规模从 1.7B 到 7B 的三个骨干模型上，以及在中英文角色扮演任务上，均取得总体提升。这些结果支持将角色感知的上下文管理作为维持对话连续性和指令遵循的一种实用方法。
| 评论： | 16 页，6 幅图 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2512.06869 [cs.CL] |
| （或 arXiv:2512.06869v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2512.06869 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Wanyang Hong [查看邮箱]
[v1]
2025 年 12 月 7 日星期日 14:50:03 UTC（1,281 KB）
[v2]
2026 年 10 月 26 日星期一 05:04:06 UTC（570 KB）
来源：arXiv cs.CL · arxiv.org