arXiv cs.CL· Jinhu Fu, Yan Bai, Yihang Lou, Li Sun, Jiahong Wu, Xiangxiang Chu, Sen Su·· 14 小时前AI 评分26
DynEdit：用动态熵引导的大语言模型长序列知识编辑
DynEdit: Dynamic Entropy-Guided Sequential Editing for Large Language Models
AI 导读
DynEdit 提出用 token 级熵引导长序列知识编辑，对高熵难编辑区域做非均匀滑动以提升覆盖，并在每个编辑窗口内对信息密集 token 做熵引导的 token 级优化。在三个 benchmark 和两个骨干模型上，DynEdit 一致优于竞争基线，在困难的复述查询上最高提升 +14.0 BLEU，多个知识领域语义分数接近饱和。该工作已被 NeurIPS 2026 主会接收为 poster。
正文 · AI 翻译
摘要：知识编辑旨在无需完整重训练的情况下更新大型语言模型中过时或不正确的知识。现有的参数编辑方法在长序列知识方面仍存在局限：单点编辑器对扩展目标的覆盖不足，而固定的分块编辑器在僵硬的预定义窗口上均匀分配编辑力度，无法优先处理困难且信息密集的 token。在本工作中，我们表明 token 熵与编辑难度和语义重要性都密切相关：高熵区域更难编辑，且通常包含关键的事实内容。受此观察启发，我们提出了 DynEdit，一个用于长序列知识编辑的动态框架。DynEdit 利用 token 级熵来引导非均匀滑动，增加困难高熵区域的覆盖，并进一步应用熵引导的 token 级优化，以加强每个编辑窗口内信息密集 token 的更新。在三个基准和两个骨干模型上的实验表明，DynEdit 在多种长文本编辑设置中始终优于有竞争力的基线，在具有挑战性的复述查询上最高提升 +14.0 BLEU 分，并在多个多样化知识领域上取得接近饱和的语义分数。
| 评论： | 被 NeurIPS 2026 主会议接收（海报） |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.34768 [cs.CL] |
| （或 arXiv:2610.34768v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.34768 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jinhu Fu [查看邮箱]
[v1]
2026年10月26日星期一 03:13:26 UTC（1,365 KB）
来源：arXiv cs.CL · arxiv.org