跳到正文
热点事件持续更新

研究:LLM评文学小说与人类评委一致性不足

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

Manzanarez Gerardo Aleman 等作者发表研究,在 GrAImes 框架内让 LLM 充当文学小说评估者,对西班牙语人类创作与 AI 生成的微型小说、以及西班牙语和英语短篇故事打分,并与 5 位文学博士教授和 16 位文学爱好者的评判对比。 结果显示,LLM 与人类评委的一致性不足,Krippendorff's alpha 信度系数低于 0.66,无法替代人类评委;研究称其可作为初步判断文本编辑质量的辅助工具。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月18日
  1. arXiv cs.AI
    GrAImes 框架研究:用 LLM 评估文学小说可行吗

    研究提出在 GrAImes 框架内让 LLM 充当文学小说评估者,对西班牙语人类创作与 AI 生成的微型小说、以及西班牙语和英语短篇故事进行打分,并与 5 位文学博士教授和 16 位文学爱好者的评判对比。结果显示 LLM 与人类评委的一致性不足,Krippendorff's alpha 信度系数低于 0.66,无法替代人类评委,但可作为初步判断文本编辑质量的辅助工具。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。