arXiv cs.AI· Miguel Arana-Catania, Gillian Pink, Glenn Roe·· 3 天前AI 评分17
用机器学习为伏尔泰全集自动做主题索引：Mistral 4-bit 量化模型 F1 最高 0.67
Automatic Thematic Indexing of Large Literary Corpora: A Machine Learning Approach to Voltaire's Complete Works
AI 导读
研究将伏尔泰《风俗论》与《百科全书问题》两套文集的自动主题索引建模为多标签分类任务，对比了从约 3B 到 120B 参数的编码器模型与经 LoRA 微调的生成式 LLM。表现最佳的是 Mistral 系列 4-bit 量化配置，F1 最高达 0.67，作者认为受专业索引主观性影响，该数值属于下界。研究还评估了跨语料泛化能力，并定性分析了模型在文学与修辞特征上的失败案例。
正文 · AI 翻译
摘要：主题索引——即为文本章节赋予结构化概念标签的做法——对于大规模文学与历史文献的学术查阅至关重要，然而它仍然是一项 largely 手工、劳动密集型的工作。本文探讨将机器学习应用于自动主题索引，并以《伏尔泰全集》的两个大型子语料库作为测试案例：Essai sur les mœurs et l'esprit des nations 和 Questions sur l'Encyclopédie。该任务被构建为一个多标签分类问题，其中模型必须为给定文本页面分配专业索引员会采用的一组索引条目。我们比较了一系列方法——从带有分类头的编码器模型到通过低秩适配（LoRA）微调的生成式大语言模型（LLM）——模型规模从约 3 亿到 1200 亿参数不等。我们表现最佳的模型来自 Mistral 系列，采用 4 比特量化配置，F1 分数最高达到 0.67；我们认为这些数字代表下限，因为专业索引本身具有内在主观性，且模型预测尽管与印刷索引不同，却常常在语义上有效。我们进一步评估了跨语料库泛化能力，并对模型在源文本的文学与修辞特征上的行为进行了详细的定性分析，这些特征尤其难以自动化处理。我们的发现对为大规模文学与历史语料库提供结构化主题访问这一更广泛的挑战具有启示意义。
| 评论： | 26 页，3 幅图，3 张表 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；数字图书馆（cs.DL）；信息检索（cs.IR）；机器学习（cs.LG） |
| 引用为： | arXiv:2607.09316 [cs.CL] |
| （或 arXiv:2607.09316v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.09316 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Miguel Arana-Catania [查看电子邮件]
[v1]
2026 年 7 月 10 日星期五 11:54:02 UTC（576 KB）
[v2]
2026 年 10 月 13 日星期二 08:58:58 UTC（582 KB）
来源：arXiv cs.AI · arxiv.org