LLM-jp-4 技术报告：8B 稠密与 32B-A3B MoE 日语主权大模型

LLM-jp-4 Technical Report

AI 导读

LLM-jp-4 是一系列日语主权大语言模型，包含 8B 稠密模型和 32B-A3B MoE 模型，两者均从零开始训练，使用约 12 万亿 tokens。团队为训练数据、外部模型和软件的选择制定了明确标准并公开开发流程，以支持独立验证与复现。评测显示其较前代 LLM-jp 模型大幅提升，与同规模开放权重模型相比具备竞争力；33B 稠密模型结果未包含在本版本中。

正文 · AI 翻译

作者：LLM-jp：Chaoran Liu、Daisuke Kawahara、Hideyuki Tachibana、Hirokazu Kiyomaru、Jun Suzuki、Koshi Eguchi、Kouta Nakayama、Qianying Liu、Rio Yokota、Ryo Takahashi、Sadao Kurohashi、Sosuke Hosokawa、Taishi Nakamura、Takashi Kodama、Yun-Ang Wu、Yusuke Miyao、Yusuke Oda

查看 PDF HTML（实验性）

摘要：本文介绍了 LLM-jp-4，这是一个日本主权大语言模型（LLM）系列，开发时着重于透明度、可复现性和实用可用性。LLM-jp-4 包含一个 8B 稠密模型和一个 32B-A3B 混合专家模型，两者均基于约 12 万亿 token 从零开始训练。为支持独立验证和复现，我们制定了选择训练数据、外部模型和软件的明确标准，并公开了开发过程。评估结果表明，相比之前的 LLM-jp 模型有显著提升，并且与类似规模的开源权重模型相比具有竞争力。通过记录 LLM-jp-4 的开发原则、训练流程和实证发现，我们旨在为未来的主权 AI 开发提供参考。

评论：	本版本未包含 LLM-jp-4 33B 稠密模型的结果，将在未来修订中补充
主题：	计算与语言（cs.CL）；人工智能（cs.AI）
引用为：	arXiv:2610.19331 [cs.CL]
	（或 arXiv:2610.19331v1 [cs.CL] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.19331 arXiv 颁发的 DOI，通过 DataCite（待注册）

提交历史

来自：Hirokazu Kiyomaru [查看电子邮件]
[v1] 2026年10月14日星期三 00:16:21 UTC（986 KB）

来源：arXiv cs.CL · arxiv.org