arXiv cs.CL· Zixuan Wang, Gregory Kang Ruey Lau, Xiao Tian, Jue Fan, Caroline Chaux, Bryan Kian Hsiang Low·· 10 小时前AI 评分30
EDITORS:用 LoRA 子空间编辑实现写作风格归因与模仿
EDITORS Know Your Style! Editing LoRA Subspaces for Stylistic Attribution and Imitation
AI 导读
EDITORS 是一个“先诊断再消减”的框架,通过训练诊断性 LoRA 适配器定位内容导向子空间,再在激活空间消减中训练风格适配器,使预训练大语言模型优先捕捉风格特征。在文学、社交媒体和新闻三个作者归因基准上,EDITORS 取得 SOTA 准确率,最高超过最强基线 29%。在风格模仿任务上,它生成的文本风格相似且多样,同时符合内容要求。
正文 · AI 翻译
摘要:将写作风格与语义内容分离是文学文本建模中的一项基本挑战。风格与内容的纠缠会导致模型在作者归属(AA)任务中依赖语义内容,并在风格模仿(SI)任务中记忆作者特有的内容。我们提出 EDITORS(EditingLoRA Subspaces),这是一个“先诊断、后压缩”的框架,它适配预训练大语言模型并优先考虑风格特征,从而在 AA 和 SI 任务中均有效。EDITORS 首先使用从训练语料中提取的风格中性陈述训练一个诊断性 LoRA 适配器,以识别面向内容的子空间。然后,在激活空间压缩下训练最终的风格适配器,该压缩将输入激活投影到远离已识别的内容导向方向。我们通过实验证明 EDITORS 是有效的。在涵盖文学、社交媒体和新闻的三个 AA 基准上,EDITORS 达到了最先进的准确率,比最强的现有基线高出多达 29%。在 SI 上,EDITORS 生成风格忠实且多样的段落,在实现风格相似度的同时遵循内容规范,优于基线。
| 评论: | NeurIPS 2026 |
| 主题: | 计算与语言(cs.CL);人工智能(cs.AI) |
| 引用为: | arXiv:2611.20846 [cs.CL] |
| (或 arXiv:2611.20846v2 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.20846 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Zixuan Wang [查看电子邮件]
[v1]
2026年11月16日星期一 10:22:39 UTC(2,347 KB)
[v2]
2026年11月19日星期四 07:45:54 UTC(2,347 KB)
来源:arXiv cs.CL · arxiv.org