跳到正文
arXiv cs.AI· Nikhil Parkar, M. Marimuthu, Riya Joshi, Karthikeyan N·· 4 小时前AI 评分31

RLDE:面向可解释迭代文档编辑的强化学习框架

RLDE: A Reinforcement Learning Framework for Interpretable Iterative Document Editing

AI 导读

RLDE 是一个端到端、指标驱动的强化学习框架,将文档修订建模为无参考的 MDP 问题,在 NOOP、INSERT、DELETE、REPLACE 四种动作下用 Pointer Networks 做 token 级跨度选择,并由冻结的 BART-base 生成建议。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:提升长文档的质量、清晰度和流畅性仍是 NLP 中一个具有挑战性的问题,因为人工编辑通常通过迭代式修改而非一次性重写来完成。现有的大多数自动化系统要么充当黑盒生成器,要么依赖监督学习,限制了可解释性,且未能捕捉修订的序列性本质。本文提出 RLDE,一种自动化的端到端、由指标驱动的强化学习框架,它将文档修订建模为无参考的 MDP 问题(相对于成对的文档-修订目标而言是无监督的)。在有限的动作空间(NOOP、INSERT、DELETE、REPLACE)下,RLDE 利用 Pointer Networks 在 token 级别进行动态片段选择,并将生成动作发送给冻结的 BART-base 模型以获得上下文感知的建议。PPO 智能体学习优化基于可读性、困惑度和语法指标的多目标奖励函数,并借助一种新颖的基于 SBERT 的语义保持惩罚约束来避免删除退化。在 BEA-2019 数据集上的评估显示,所有指标均取得统计显著的结果(p < 0.01),其中 Flesch 阅读易读度从 49.8 提升至 59.4,困惑度从 63.7 降至 39.8,同时保留了 93% 的语义信息。与 GPT-4 和 LLaMA-2 等经思维链(CoT)提示工程优化的模型相比,RLDE 以极低的推理计算成本展现出高性能。此外,RLDE 生成的编辑质量已通过人工评估验证,在语义保持方面得分 4.9/5,在编辑质量方面得分 4.4/5。
学科: 计算与语言(cs.CL);人工智能(cs.AI);机器学习(cs.LG)
引用为: arXiv:2611.22039 [cs.CL]
  (或 arXiv:2611.22039v1 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.22039

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Nikhil Parkar [查看邮箱]
[v1] 2026年11月17日星期二 01:00:24 UTC(631 KB)

来源:arXiv cs.AI · arxiv.org