arXiv cs.CL· Jinlong Liu, Mohammed Bahja, Mark Lee·· 3 天前AI 评分27
推理监督反而有害：基于 TTCW 的长篇文学评论生成研究
When Reasoning Supervision Hurts: TTCW-Based Long-Form Literary Review Generation
AI 导读
研究构建了含 263,911 篇长篇故事、覆盖 14 个 TTCW 维度的数据集，测试推理轨迹能否提升结构化文学评论生成。在 Qwen3-4B、Qwen3-8B 和 Nemotron-8B 上，无轨迹监督的分数模仿保真度更高且报告生成近乎完整，而轨迹监督使完成率降至 85.9%–90.9%。失败分析显示 88.6% 的失败推理生成在轨迹内出现语义重复循环。
正文 · AI 翻译
摘要：长篇文学写作的自动评估仍然具有挑战性，尤其是原创性和灵活性等与创造力相关的维度。我们通过构建一个包含 263{,}911 篇长篇故事的数据集，解决了基于结构化托兰斯创造性写作测试（TTCW）评估缺乏大规模监督的问题，每篇故事都配有标量分数和基于 14 个 TTCW 维度的元合成评审评论。利用该数据集，我们研究了在 Qwen3-4B、Qwen3-8B 和 Nemotron-8B 上，评审风格推理轨迹是否能改进结构化文学评审生成。在所有三个模型中，无轨迹监督产生更高的分数模仿保真度和近乎完整的报告生成，而轨迹监督将完成率降至 $85.9$--$90.9\%$。失败分析表明，$88.6\%$ 的失败推理生成在轨迹内部包含语义重复循环。这些循环集中在特定的故事--标准交互中，并在起始后逐渐固化，而监督数据中类似的重复很少见。我们的结果表明，对于需要严格结构化输出的长篇任务，显式推理轨迹可能引入生成不稳定性，其影响超过其整体收益。
| 评论： | 提交至 NAACL 2027 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2605.20364 [cs.CL] |
| （或 arXiv:2605.20364v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.20364 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Jinlong Liu [查看电子邮件]
[v1]
2026年5月19日星期二 18:16:58 UTC（222 KB）
[v2]
2026年10月14日星期三 11:05:55 UTC（321 KB）
来源：arXiv cs.CL · arxiv.org