跳到正文
arXiv cs.AI· Manzanarez Gerardo Aleman, Monroy Raul, Garcia Flores Jorge, Calvo Hiram·· 4 小时前AI 评分23

GrAImes 框架研究:用 LLM 评估文学小说可行吗

Literary Language Mashup: Curating Fictions with Large Language Models

AI 导读

研究提出在 GrAImes 框架内让 LLM 充当文学小说评估者,对西班牙语人类创作与 AI 生成的微型小说、以及西班牙语和英语短篇故事进行打分,并与 5 位文学博士教授和 16 位文学爱好者的评判对比。结果显示 LLM 与人类评委的一致性不足,Krippendorff's alpha 信度系数低于 0.66,无法替代人类评委,但可作为初步判断文本编辑质量的辅助工具。

正文 · AI 翻译

查看 PDF

摘要:本文提出了一种替代文学小说人工评估的方法,即在 GrAImes 框架内采用 LLM 本身作为评估者。我们将该方法应用于评估西班牙语的人工撰写与 AI 生成的微小说,评估对象包括五位文学博士教授和十六位文学爱好者,以及西班牙语和英语的短篇小说。通过将 LLM 所做的评估与人类评判者的评估进行比较,我们考察两种视角之间的一致与分歧程度,从而评估 LLM 作为辅助文学评估者的可行性。我们的分析聚焦于 LLM 的回应与人类评估者回应之间的一致性,为 LLM 在文学评估中的潜力提供洞见。所进行的实验表明,尽管在文学微小说和短篇小说的评估中,LLM 不能被视为人类评判者的替代品(Krippendorff's alpha 信度系数低于 0.66),但它们可以作为一种有价值的工具,为相关文本的编辑质量提供初步视角。总体而言,本研究有助于关于人工智能在文学中作用的持续讨论,既强调其方法上的局限,也强调其作为文学评估补充资源的潜力。
学科: 计算与语言(cs.CL);人工智能(cs.AI)
引用为: arXiv:2611.21649 [cs.CL]
  (或 arXiv:2611.21649v1 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.21649

由 DataCite 颁发的 arXiv DOI(待注册)

期刊 参考: Mathematics 2025, 1, 0
相关 DOI: https://doi.org/10.3390/math1010000

链接到相关资源的 DOI

提交历史

来自:Gerardo Aleman Manzanarez [查看电子邮件]
[v1] 2026年10月15日 星期四 01:43:14 UTC(2,823 KB)

来源:arXiv cs.AI · arxiv.org