Value Over Language Model（VOLM）：检测写作中的原创贡献

查看 PDF HTML（实验性）

摘要：LLM 已被迅速应用于各类写作任务，这推动了检测 LLM 生成文本的工具的发展。然而，这些工具主要衡量文档表层文本中有多少是由 LLM 撰写的，其根本设计目的并非衡量有多少信息内容或想法源自 LLM 本身，而非由用户在提示中提供。在本工作中，我们设计了一个框架，用于衡量在语言模型本可轻易自行生成的内容之上，个人所增加的价值。该方法无需训练或标注数据，且从不评分文档的表层文本，从而使其免受文体混杂因素的干扰。相反，它以递增的粒度级别提取文档内容，使用 LLM 从每个部分表示重建文档，并将这些重建结果与仅根据任务描述生成的重建结果进行比较。我们将此框架称为 Value Over Language Model（VOLM），它衡量文档相对于一个替代水平文档的贡献，该替代水平文档是 LLM 仅根据任务描述即可生成的。我们通过该框架的一个具体实例在三个领域评估 VOLM：新闻文章、ICLR 同行评审和议论文。VOLM 能将人类撰写的文档与根据通用任务描述生成的匹配 LLM 文档区分开来，同时对内容保持型变换（包括基于 LLM 的重建和往返翻译）基本保持不变。我们进一步发现，约束越来越强的内容提取器会减少 LLM 生成文本与人类化文本之间的残余差异，这表明将信息内容与文体变异解耦的重要性。我们希望这些结果能鼓励对该框架的专门实例化以及更广泛地评估 LLM 辅助写作中的人类贡献的进一步研究。

提交历史

来自：Vibhhu Sharma [查看电子邮件]
[v1] 2026年9月1日星期二 04:21:20 UTC（5,563 KB）
[v2] 2026年11月4日星期三 19:15:22 UTC（3,566 KB）