Kisoku 1.6B：单人用免费 TPU 额度从零预训练，追平 Llama 3.2 1B

一个 16 亿参数的语言模型，由一个人从零开始预训练，使用 Google TPU Research Cloud 的 TPU v4-32，训练数据约 0.5 万亿 token。在同一个测试框架下对所有模型运行的 10 项基准测试套件中，它与 Meta 的 Llama 3.2 1B 打平（各胜五场），而使用的训练数据约少 18 倍。它被扩展到 64K token 的上下文，使用 YaRN 后约 128K。一个聊天微调版本作为预览版发布。

本仓库包含训练配置、评估与污染审计代码、合成长上下文数据生成器、数据清单和技术报告。一切均采用 Apache 2.0 许可。

阅读报告： report/kisoku-report-draft.md。它涵盖了配方、数据、污染审计、长上下文、聊天微调、出了什么问题以及花费。

权重

内容	位置
基础模型，最终版（阶段 C）	0arch-io/kisoku-1.6b
中间检查点	同一仓库的分支：`stage1-step198999`、`stage3-step242999`、`long-phaseA-step2899`、`long-phaseB-step2859`
聊天预览版（第 9 轮）	0arch-io/kisoku-1.6b-chat，更早的轮次作为分支 `sft005`、`sft006`、`dpo38`
GGUF（llama.cpp、Ollama）	0arch-io/kisoku-1.6b-gguf
原始逐样本评估输出	0arch-io/kisoku-1.6b-eval

核心数字

lm-evaluation-harness 0.4.13，bf16，同一台机器，正确率百分比。

基准测试	Kisoku 1.6B	Llama 3.2 1B
GSM8K（5-shot）	15.0	5.8
MMLU（5-shot）	34.2	31.3
ARC-Easy	64.4	61.8
ARC-Challenge	40.1	36.9
BBH（3-shot）	28.6	28.3
PIQA	73.0	74.9
WinoGrande	56.8	60.5
HellaSwag	57.8	64.2
HumanEval	14.6	18.9
TriviaQA（5-shot）	23.1	40.7

Qwen2.5 1.5B 和 SmolLM2 1.7B 在大多数测试上都领先于两者。这是在一个套件上的 token 效率结果，并非关于小型模型的普遍论断。包含置信区间、污染划分和长上下文结果的完整表格在报告中。

目录结构

文件夹	内容
`report/`	技术报告、其图表以及基准测试记分卡页面
`training/`	MaxText 配置、阶段运行脚本（阶段 1 到 3，长上下文阶段 A、B、C）、交接监视器、重启保护、导出和微调脚本、systemd 单元
`eval/`	lm-evaluation-harness 批处理脚本、自定义 BBH 任务、YaRN 演练、聊天测试脚本
`contamination/`	逐字重叠审计：探针构建器、分片扫描器、摘要、重叠与干净准确率划分
`longctx-synth/`	用于阶段 C 的合成长上下文任务生成器及其清单
`sft/`	聊天数据生成器和构建器、留出对话测试、每个数据集的摘要
`release/`	模型卡、发布清单、上传脚本、发布说明

预训练文本本身不在本仓库或 Hub 上：Nemotron 数据集禁止再分发，因此清单仅列出来源、数量和混合权重。教师编写的聊天对话也未发布。

运行脚本

它们是为一个 TPU VM、一个存储桶和一台评估机器编写的，作为记录而非软件包发布。脚本从 KISOKU_BUCKET 读取存储桶（无 gs:// 前缀），从 KISOKU_PC_HOST 读取评估主机。MaxText YAML 文件包含字面量 KISOKU_BUCKET 和 /home/USER；运行脚本在命令行上覆盖这些路径。密钥文件（gcs-key.json、hf_token、API 密钥）从主目录读取，从不提交。

引用

@misc{rodriguez2026kisoku,
  title        = {Kisoku 1.6B: A Solo, From-Scratch Pretrain on a Free TPU Grant},
  author       = {Rodriguez, Joseph},
  year         = {2026},
  howpublished = {\url{https://huggingface.co/0arch-io/kisoku-1.6b}},
  note         = {Technical report: \url{https://github.com/0arch-io/kisoku/blob/main/report/kisoku-report-draft.md}}
}

许可证

Apache 2.0（见 LICENSE）。分词器词表是 Llama 3 的；模型卡中有相关说明。