arXiv cs.AI· Junkai Liang, Zhanpeng Guo, Pengfei Wu, Qingni Shen, Jiaheng Zhang, Zhonghai Wu, Haiyang Xue, Shengfang Zhai·· 10 天前AI 评分27
zkLLMPoT：面向大语言模型训练的高效零知识证明框架
zkLLMPoT: Efficient Zero Knowledge Proof of Training for Large Language Models
AI 导读
zkLLMPoT 通过前向评估而非验证优化轨迹，为 LLM 训练检查点提供零知识证明，认证成本与训练迭代次数无关，且无需泄露模型权重或私有训练数据。该框架分两阶段：训练方先固定架构并提交权重，审计方再选取挑战序列，训练方随后证明所提交模型在这些序列上的目标值。在四类模型家族上，1.1-1.5B 参数模型的证明时间为 41-59 秒，13B 模型为 131 秒，序列长度 512 时验证耗时低于半秒。
正文 · AI 翻译
摘要：当模型权重和训练数据均为私有时，审计大语言模型（LLM）训练所声称的结果颇具挑战性，而在 Transformer 规模上以密码学方式证明完整训练过程则代价高昂到难以承受。我们提出 zkLLMPoT，一个零知识框架，通过前向评估而非验证其优化轨迹来证明审计者定义的已训练检查点属性。zkLLMPoT 包含 2 个阶段：1）训练者固定架构并提交模型权重。随后审计者选择挑战序列，防止训练者根据审计数据修改检查点。2）然后训练者证明所提交模型在这些序列上达到的目标值。这一形式化使认证成本与训练迭代次数无关，且不泄露模型权重，也无需访问私有训练数据。我们基于 sumcheck 和 lookup 论证来认证 Transformer 计算，同时支持下一 token 损失和任务特定的审计目标。在四个模型系列上，算子级基准测试表明，对于 1.1-1.5B 参数模型，证明时间为 41-59 秒，对于所覆盖的算子，13B 模型为 131 秒，在序列长度为 512 时验证时间低于半秒。
| 评论： | 提交至 ICLR 2027 |
| 主题： | 人工智能（cs.AI） |
| MSC 分类： | 94A60, 68T50 |
| ACM 分类： | E.3; I.2.6; I.2.7 |
| 引用为： | arXiv:2610.08258 [cs.AI] |
| （或 arXiv:2610.08258v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.08258 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Junkai Liang [查看电子邮件]
[v1]
2026 年 10 月 6 日星期二 12:35:49 UTC（112 KB）
来源：arXiv cs.AI · arxiv.org