arXiv cs.AI· David Y. Liu, Xanthe Muston, Dipankar Srirag, Aditya Joshi, Sebastian Sequoiah-Grayson·· 3 天前AI 评分22
Retell, Reward, Repeat：用叙事理论驱动的强化学习教 LLM 讲因果故事
Retell, Reward, Repeat: Reinforcement Learning for Narrative Theory-Informed Story Retelling
AI 导读
研究提出 Retell, Reward, Repeat（RRR）强化学习流水线，通过人类标注的叙事均衡阶段与 LLM-as-judge 奖励信号，教 LLM 生成具备因果叙事结构的文本。
正文 · AI 翻译
摘要：反事实叙事揭示了 LLM 在因果推理方面的不足，其中少样本提示和监督微调（SFT）都无法生成合乎逻辑且理性的叙事。本案例研究引入了 Retell, Reward, Repeat（RRR），一种以叙事理论为依据的强化学习流程，用于教授因果故事结构。我们扩展了一个现有的反事实故事数据集，加入人工标注的叙事平衡阶段，将结构主义叙事学与标量叙事性相结合。一个对齐的 LLM 作为评判者自动执行这一框架以输出奖励信号，教导策略 LLM 生成具有因果叙事结构的文本。评估表明，经 RRR 训练的 7/8B LLM 在逻辑性、合理性和完整性方面优于少样本和监督微调基线，并且与一个盲测人类偏好子集相一致。RRR 提供了一种基于语言学、成本效益高的后训练机制，用于 LLM 故事创作，仅使用一个小型、仅查询的数据集，展示了将语言学理论融入当代 NLP 的价值。
| 评论： | 9 页，7 张图 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2601.17226 [cs.CL] |
| （或 arXiv:2601.17226v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2601.17226 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：David Liu [查看电子邮件]
[v1]
2026 年 1 月 23 日星期五 23:23:42 UTC（5,261 KB）
[v2]
2026 年 6 月 17 日星期三 01:09:11 UTC（4,603 KB）
[v3]
2026 年 10 月 10 日星期六 04:15:26 UTC（4,603 KB）
来源：arXiv cs.AI · arxiv.org