arXiv cs.CL· Jiashu Yang, Ningning Wang, Yian Zhao, Chaoran Feng, Junjia Du, Hao Pang, Miao Yu, Xuxin Cheng·· 12 小时前AI 评分24
Kongzi：面向历史理解与推理的事实增强大语言模型
Kongzi: A Historical Large Language Model with Fact Enhancement
AI 导读
研究者提出历史领域语言模型 Kongzi，结合历史语料继续预训练、监督微调和事实增强强化学习，其事实性奖励通过知识图谱相似度比对生成回答与史料中的实体和关系。在 0.5B 与 7B 两个规模上评测历史问答与反事实推理，Kongzi-7B 在三位 LLM 评委给出的历史准确性评分中均为对比模型最高。
正文 · AI 翻译
摘要：大型语言模型（LLM）在长链推理或误导性提示下可能表现出事实性错误，从而限制其在历史分析中的可靠性。我们提出 Kongzi，一个用于历史理解与推理的语言模型，它结合了在历史语料上的持续预训练、监督微调和事实增强强化学习。其事实性奖励通过知识图谱相似度，将生成回答中提取的实体和关系与历史参考文献进行比较。我们在历史问答和反事实推理任务上评估了 0.5B 和 7B 模型，采用三位 LLM 评审给出的评分，并在 CMMLU-Chinese-History 上进行评估。在三位评审下，Kongzi-7B 在参评模型中获得了最高的历史准确性评分。强化学习提升了两种规模模型的平均答案得分及其 CMMLU-Chinese-History 准确率，尽管 Kongzi-7B 在该基准上仍低于已报告的最强基线。这些描述性结果支持对历史语言模型事实性奖励的进一步研究。
| 评论： | 22 页，14 幅图，4 张表。修订了训练与评估描述；更正了派生的评估摘要与图表；更新了作者名单 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2504.09488 [cs.CL] |
| （或 arXiv:2504.09488v2 [cs.CL] 为本版本） | |
| https://doi.org/10.48550/arXiv.2504.09488 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jiashu Yang [查看邮箱]
[v1]
2025 年 4 月 13 日星期日 09:01:05 UTC（27,257 KB）
[v2]
2026 年 10 月 22 日星期四 01:19:25 UTC（26,013 KB）
来源：arXiv cs.CL · arxiv.org