LookAtMyQuant 将 Inkling-2-Mini 压缩至 5.4 GB 并发布 Apple Silicon 运行时
Inkling-2-Mini in 5.4 GB Memory
LookAtMyQuant 是一个量化编译器,按每块权重对输出的影响分配码本,把 thinkingmachines/Inkling-2-Mini 从 18.89 GB 文本权重压到 5.38 GB(1.63 bits/weight)和 8.87 GB(2.69 bits/weight)。
LookAtMyQuant 是一个量化编译器。它衡量模型中被存储的每一部分在压缩时对输出的损害程度,然后为每一部分选择一种编码,使整个模型在满足大小预算的同时损害最小。
在 Gemma 4 E2B 上,其 GGUF 在相同文件大小下的 KL 比 Q4_K_M 低 12 倍。方法和所有结果都在网站上。
代码采用 MIT 许可证。
LookAtMyQuant 2:1.2 GB 的 Qwen3.5-4B
LookAtMyQuant 2 将 Qwen3.5-4B 压缩到 1.23 GB,每权重 2.3 比特。该文件解决了 540 道精确答案数学题中的 330 道。Prism ML 的 Bonsai 2 Ternary 4B 在 1.20 GB 下解决了 328 道,原始模型解决了 359 道。其在留出文本上相对原始模型的 KL 为 0.45 nats,而 Bonsai 为 0.59。
该方案是使用 trellis 码的训练后量化,在模型自己生成的数学解答上校准,数字 token 权重为 10 倍,并按 Fisher 信息逐行分配比特。随后进行 4,000 步蒸馏,其中每一层都从原始权重重新量化一次。页面包含发现、完整方案及其成本,约 34 美元的 GPU 时间。
方案的代码在这里,下一节运行它。1.23 GB 文件本身是lm2-qwen35-4b-1.2gb 发布版,为 Apple Silicon 运行时打包。
7.2 GB 的 Qwen3.8-27B
同一方案将 Qwen3.8-27B 从 53.7 GB 压缩到 7.2 GB,每权重 2.1 比特,在英文散文和聊天、代码和数学上校准和蒸馏。该文件解决了 540 道数学题中的 401 道,与原始模型一样多,而 Unsloth 同尺寸的 UD-IQ2_XXS GGUF 解决了 348 道。它在 HumanEval(73.8% 对 67.1%)、MMLU(78.8% 对 75.0%)和 GSM8K(94.5% 对 92.7%)上也高于该 GGUF。
旁边是一个 4 比特 DSpine 草稿模型(1.02 GB,用 runtime_mlx/convert_dspine.py 从 tencent/Qwen3.8-27B-DSpine-b16 转换并用 pack_drafter.py 打包),在 Apple Silicon 上使数学和代码的解码速度大约翻倍。
5.4 GB 和 8.9 GB 的 Inkling-2-Mini
同一编译器和近端微调(SQYFR),扩展到 26.4B 物理 / 5.4B 激活的 3 次循环 MoE(L6–17 循环 3 次 = 48 次逻辑访问,128 专家 top-8),将thinkingmachines/Inkling-2-Mini 从 18.89 GB 文本权重压缩到 5.38 GB(1.63 比特/权重) 和 8.87 GB(2.69 比特/权重),使用 4 KB SRAM 哈希块向量 trellis 码(ht2/ht3)、行 trellis 码(rtr1/rtr4),以及尾部 lm_head 桶上的 tr2 下限(head.7)。
在相同的 BF16 教师模型上评估,openai/gsm8k(test[:200],贪心,reasoning_effort="none"),所有 164 可执行 openai/openai_humaneval 问题,4 Vision VQA 测试(使用未改动的 637 MB BF16 视觉塔),以及 16+13 语言 TextMix 窗口:
| 模型 | 文本 GB | free_KL(en/chat/code) |
all13_KL |
GSM8K(200) | HumanEval(164) | 合并 vs 教师 |
|---|---|---|---|---|---|---|
| 原始 BF16 教师 | 18.89 | 0.0000 | 0.0000 | 147 / 200 (73.5%) | 66 / 164 (40.2%) | 100.0% |
LookAtMyQuant 5.4 GB(SQYFR) |
5.38 | 0.0895 | 0.2871 | 134 / 200 (67.0%) | 60 / 164 (36.6%) | 91.2% |
Unsloth UD-IQ1_S |
7.76 | 0.0808 | 0.1236 | 127 / 200 (63.5%) | 46 / 164 (28.0%) | 81.6% |
LookAtMyQuant 8.9 GB(SQYFR) |
8.87 | 0.0208 | 0.0571 | 148 / 200 (74.0%) | 58 / 164 (35.4%) | 96.8% |
Unsloth UD-Q2_K_XL |
9.14 | 0.0486 | 0.0811 | 132 / 200 (66.0%) | 49 / 164 (29.9%) | 85.3% |
Unsloth UD-IQ3_XXS |
11.66 | 0.0189 | 0.0278 | 148 / 200 (74.0%) | 68 / 164 (41.5%) | 101.4% |
在5.38 GB下,Inkling-2-Mini-LookAtMyQuant-5.4GB在GSM8K和HumanEval上均优于Unsloth的9.14 GB UD-Q2_K_XL,体积小41%(未调优时为76/200和24/164)。在8.87 GB下,Inkling-2-Mini-LookAtMyQuant-8.9GB在GSM8K上与BF16原版持平,并在英语/聊天/代码上降低KL 2.34×,在全部13种语言上降低29.6%至UD-Q2_K_XL以下。两者均通过lamq和runtime_mlx直接运行,使用自定义Apple Silicon Metal内核(包括M5 MetalPerformancePrimitives MoE预填充 + FlashAttention-2 SDPA + 精确无偏temp > 0推测采样,以及可选的动态sigmoid Top-K路由、紧边界验证和N-gram提示查找),可选搭配178.9 MB的4-bit DSpark草稿模型:在M5 Max上,5.4 GB达到1,807 tok/s T=512预填充(T=128时为1,047 tok/s)、75.3 tok/s串行解码,以及124.4 tok/s中位无损草稿解码(142.9 tok/s数学、126.5 tok/s推理、122.2 tok/s代码、104.0 tok/s散文;启用top6 / max_logit_gap=0.30时最高可达~150–160 tok/s;5.98 GB活动内存),而8.9 GB以63.5 tok/s串行和106.0 tok/s中位解码(125.8 tok/s推理、123.8 tok/s数学;9.41 GB活动内存)。
安装并使用Apple Silicon运行时
在Apple Silicon上,直接安装运行时包(这会安装mlx、mlx-lm、numpy和huggingface-hub,且不包含PyTorch编译器依赖):
pip install git+https://github.com/ShinMegamiBoson/lookatmyquant.git
从本地克隆安装时,pip install -e .会安装lamq命令,或者不安装直接运行python -m runtime_mlx。
命令行。传入本地模型文件夹或Hugging Face仓库ID:
lamq generate shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB \
-p "What is 17 times 23? Show the steps."
lamq generate shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB \
--drafter shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB-drafter \
-p "Write a Python function that merges overlapping intervals." --stats
lamq chat shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB \
--drafter shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB-drafter
lamq generate shinmegamiboson/Inkling-2-Mini-LookAtMyQuant-5.4GB \
--drafter shinmegamiboson/Inkling-2-Mini-LookAtMyQuant-drafter \
-p "What is 17 times 23? Show the steps." --stats省略-p时,lamq generate读取标准输入,支持--raw、--system、--thinking、--temp、--mode linear|chat-fork|copy-wide、--no-adaptive和--json。lamq info <model>可在不加载权重的情况下检查打包模型的格式和维度。
Python集成。runtime_mlx.load返回一个与mlx_lm.generate和mlx_lm.stream_generate兼容的(model, tokenizer)对(自动检测opgraph-packed-1模型,如Qwen3.5-4B / Qwen3.8-27B,以及lamq.json导出,如Gemma 4 E2B):
from mlx_lm import generate from runtime_mlx import load model, tok = load("shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB") prompt = tok.apply_chat_template( [{"role": "user", "content": "What is 17 times 23? Show the steps."}], add_generation_prompt=True, enable_thinking=False, ) print(generate(model, tok, prompt, max_tokens=200))
如需通过一个接口进行流式、多轮聊天或推测解码,请使用Runtime:
from runtime_mlx import Runtime rt = Runtime.load( "shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB", drafter="shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB-drafter", ) for chunk in rt.stream("Solve 3x + 4y = 31 and 5x - 2y = 17.", max_tokens=256): print(chunk.text, end="", flush=True)
用三条命令在SmolLM2-360M上运行编译器
安装依赖并下载模型和WikiText-2。代码在启动时会读取SmolLM2-360M的配置,因此请先完成此操作。
pip install -r requirements.txt python -c "from huggingface_hub import snapshot_download as d; d('HuggingFaceTB/SmolLM2-360M')" python -c "from datasets import load_dataset as l; l('Salesforce/wikitext', 'wikitext-2-raw-v1')"
测量。这会一次压缩一个部分,其余部分保持精确,并记录与原模型的KL。该模型的完整集合共2,312次测量,在L40S上耗时约50分钟。
python compiler.py measure --model HuggingFaceTB/SmolLM2-360M --part linear --layers 0-3 --out results/batch/my_measurements.json
分配。这会为每个部分选择一个代码,在预算内使KL总和最小。它不需要GPU。此命令使用本仓库中的SmolLM2-360M测量结果,预算为每权重3.044比特。
python compiler.py allocate --sens 'results/batch/ccSens*.json' --target disk --items linear --bits 3.044 --out results/compiler/plans/my_plan.json它写出的方案与results/compiler/plans/sm_lin_3044.json具有相同的宽度。
构建并评分。这会按方案对模型进行量化,一次一个矩阵。然后报告在WikiText-2测试集上相对于原模型的困惑度和KL。
python quantize.py --program plan --model HuggingFaceTB/SmolLM2-360M --plan results/compiler/plans/my_plan.json --out results/my_run.json
我们对该方案的运行结果在results/batch/cc_sm_lin_3044.json中。它达到困惑度16.64和KL 0.0926,而原模型困惑度为15.31。添加--layers 1 --calib 8 --eval 2可快速检查一切是否正常。
在Qwen3.5-4B上运行LookAtMyQuant 2配方
每一步都是一个命名作业;python run_batch.py --list会打印其命令。这些作业需要卷上models/Qwen3.5-4B中的Qwen3.5-4B和文本混合(modal run --detach modal_fetch.py --text)。它们生成的每个文件都会写入卷上的lm2/。
modal run --detach modal_app.py --jobs lm2Text modal run --detach modal_app.py --jobs lm2Calibration,lm2Solutions modal run --detach modal_app.py --jobs lm2RowImportance modal run --detach modal_app.py --jobs lm2Build modal run --detach modal_app.py --jobs lm2Finetune modal run --detach modal_app.py --jobs lm2Math,lm2Math216,lm2TextKL
| 作业 | 脚本 | 作用 | 我们的运行 |
|---|---|---|---|
lm2Text |
other_text.py |
原模型回答科学、代码、指令和工具提示,以及MATH和GSM8K训练问题。这还会下载MATH | |
lm2Calibration |
math_calibration.py |
校准集:原模型对384个MATH训练问题的贪心解,以2,048个token为窗口 | 15分钟,H100 |
lm2Solutions |
checked_solutions.py |
微调所蒸馏的数学文本:MATH 问题的解答,以及来自另一随机种子的 math_bench.py 问题的解答,其中错误计算已更正,只保留正确答案 |
33 分钟,H100 |
lm2RowImportance |
row_importance.py |
每个输出行在数字预测位置上的 Fisher 信息 | 1 分钟,H100 |
lm2Build |
quantize.py |
训练后量化:沿行使用 trellis 码,数字 token 在 Hessian 中权重为 10×,QEP 取 α = 0.5,每行比特数来自行计划,e-means 码本 | 37 分钟,H100 |
lm2Finetune |
finetune.py |
对潜在权重进行 4,000 步蒸馏,将其拉向各自的码,每一层都从原始权重重新量化一次 | 2.7 小时,B200 |
lm2Math, lm2Math216 |
math_eval.py |
540 题基准以及另一组 216 题,用于原始模型、Bonsai、构建版本和微调后的构建版本 | 每个模型 20 分钟,H100 |
lm2TextKL |
text_kl.py |
在 WikiText-2 上以及文本混合的 13 个来源上相对原始模型的 KL | 每个模型 1 分钟,H100 |
lm2BuildSmoke、lm2FinetuneSmoke 和 lm2MathSmoke 在两层上运行相同代码,60 步和 36 个问题,每次只需几分钟。
行计划。lm2Build 读取 results/compiler/rows/q35_rowplan_1p2GB.json,它为 1,520 个行组各分配 1 到 4 比特。row_allocation.py 生成了它。其 build-control 命令构建并打包一个具有固定行划分的对照,prepare-rows 用 rowgroup_alloc.py 在对照的打包字节内分配行,build-rows 按计划构建并对照计划检查打包大小。
码本。构建时用于解码的四个 e-means 码本位于 cache/codes/。--trellis-fit lloyd 给出了较早的码本,变更前制定的计划会保留它们,除非标志另有说明。
近期等字节配方改进。编译器和微调脚本中提供了两项零字节新增:
- Softmax-Fisher token 表排序(
compiler.py measure和quantize.py中的--embed-order sfisher-mix)。通过输出 Softmax-FisherE[p_v (1 - p_v)]与语料频率的 50/50 混合对绑定的嵌入/输出桶进行排序(未绑定的输出头则仅按 Softmax-Fisher 排序)。 - 训练中期等字节行重分配(
finetune.py中的--realloc-at 1000)。与--rebuild-at 1000配合,测量每一层的连续与存储近端 KL 差距KL(all P) - KL(layer = W),将比特移向深层未吸收层,同时保持精确的文件大小(--realloc-max-delta 1)。在 Qwen3.5-4B 上以相同的 1.23 GB 与sfisher-mix结合(2.297 bpp),WikiText-2 KL 从 0.425 降至 0.387(−9.0%),13 来源 KL 从 0.447 降至 0.378(−15.5%,全部 13 个来源均有改善)。
这些作业与我们运行的不同之处。我们的 GSM8K 解答是更早编写的,思考始终关闭。我们在 13 个来源上的文本 KL 使用了由单独工具从文本混合中选取的 52 个窗口;--sources mix 采用混合自身的评估窗口,我们的文件在其上得分为 0.44,而页面报告为 0.45。
大型模型在 Modal 上运行,每个作业一块 GPU
run_batch.py 命名每个作业,modal_app.py 运行它们。modal_fetch.py 下载模型以及用于校准和评估的文本混合。
modal run modal_app.py::setup modal run --detach modal_fetch.py --text modal run --detach modal_fetch.py --models google/gemma-4-E2B-it modal run --detach modal_app.py --jobs ccMG4E2Noise,ccMG4E2Spot,ccMG4E2EmbKv
该网站背后的运行使用了这些机器,每台有 8 个 CPU 核心:
| 模型 | GPU | 时间 |
|---|---|---|
| SmolLM2-360M | L40S | 测量约 50 分钟,分 9 个并行作业 |
| Gemma 4 E2B,测量 | H100 | 每个作业 7–26 分钟,共 4 个作业 |
| Gemma 4 E2B,构建计划 | H100 | 每个计划 28–58 分钟 |
gguf_compiler.py 从 llama.cpp 自身的张量类型生成计划,因此结果可直接在 llama.cpp 中运行。public_eval.py 以与我们计划相同的方式对公开量化进行评分。两者都在 modal_gguf.py 中的镜像内运行,该镜像使用 CUDA 构建 llama.cpp。
Apple Silicon 运行时读取 Lloyd–Max 和 trellis 计划
quantize.py --export <folder> 按 runtime_mlx/ 读取的格式写出计划。带有 trellis 码的计划还需要 --trellis-rows 16,8,它让每条 trellis 路径沿其矩阵的一行运行,因此解码某个条目时只需读取该行。在 Apple silicon 上,pip install . 会安装 mlx 和 mlx-lm;requirements.txt 存放 PyTorch 编译器依赖。
在 2.5 GB 的 Gemma 4 E2B 上,trellis 计划的 KL 比 Lloyd–Max 计划低 26%,解码速度约慢 22%。runtime_mlx/test_trellis_gen.py 和 runtime_mlx/test_trellis.py 会用量化器构建的矩阵来校验 trellis 内核。
python runtime_mlx/bench.py lamq path/to/export
一个 drafter 让 1.2 GB 文件在 Apple silicon 上的生成速度提升到 1.5 至 2 倍
runtime_mlx/fast_q35.py 直接从 trellis 码中逐 token 解码打包的 1.2 GB Qwen3.5-4B 文件。runtime_mlx/drafter_q35.py 增加了推测解码。一个小型 drafter 在一次前向中提出模型最新 token 之后的七个 token。随后模型在其编码权重(runtime_mlx/block_q35.py)上的一次前向中检查全部八个位置,并保留与自身选择相符的提议,因此文本与它自己的贪心文本完全一致。
在 M5 Max 上,对 30 个最多 256 token 的留出提示,使用 drafter 的生成速度是 2.0 倍:每秒 176 个 token,对比 88 个,于 2026-11-11 在同一进程内交替计时。一次检查平均保留 4.3 个 token。在八个日常提示上,速度是 1.5 倍。增益取决于文本的可预测性:代数 2.5 倍、代码 2.0 倍、聊天 1.2 倍、故事 1.05 倍,并且 30 个留出提示中有一个在使用 drafter 时反而更慢。每个提示上的文本都与普通贪心解码一致。这些是首个 token 之后的速度;读取提示在两种情况下都约需 0.1 秒。
此代码中包含两项后续改动。每项都在 40 次配对生成上与前一个版本进行了对比测量:从 96,033 个最常见 token 中提议快了 6.0%,在打包乘积内部选出获胜 token 快了 5.3%。线性模式还默认启用自校准自适应回退(adaptive=True;传入 --no-adaptive 可禁用):当滚动接受率低于实测的盈亏平衡比率(起草-校验延迟与串行步进延迟之比,计入缓存刷新和 drafter 上下文重放)时,它会暂停起草,改为短时的精确串行突发,并在接受率恢复后继续,从而保持逐位精确的贪心一致性,同时避免在低接受率的散文上变慢。
该 drafter 是一个 DSpine 模型,使用 SpecForge 从已发布的 Qwen3.5-4B DFlash drafter 在 1.2 GB 文件自身的贪心答案上训练而成。modal_drafter.py 将训练作为一个 Modal 作业运行,花费 $42。在 300 个留出提示上,训练后的 drafter 每次检查得到 4.65 个 token,而原版 DFlash drafter 为 4.30。
pack_drafter.py 在构建自身的代码中以每权重 4 位存储 drafter,无需校准数据:464 MB,而 16 位为 1.83 GB。在 60 个留出提示上,4 位 drafter 每次检查保留 4.35 个 token,对比 4.38,且文本相同。drafter_q35.py 可加载任一形式,并在加载时将打包形式以稠密形式写出。4 位 drafter 是 lm2-drafter-4bit 发布版。它与打包的 1.2 GB 文件 lm2-qwen35-4b-1.2gb 发布版 一同运行。
gh release download lm2-qwen35-4b-1.2gb --repo ShinMegamiBoson/lookatmyquant -D q35-1.2gb gh release download lm2-drafter-4bit --repo ShinMegamiBoson/lookatmyquant -D drafter-4bit python runtime_mlx/bench_drafted.py q35-1.2gb drafter-4bit
基准测试默认使用线性校验。使用 --mode chat-fork 在模糊的早期位置尝试第二个候选,或使用 --mode copy-wide 处理已知的连续复制。复制模式使用源游标,并为 16 槽检查调整 gate/up 和 down 投影。两种模式都用打包的目标模型校验所有生成的 token。要基准测试聊天分支,请运行:
python runtime_mlx/bench_drafted.py q35-1.2gb drafter-4bit --mode chat-fork --prompts chat
对于复制基准测试,传入 --mode copy-wide --heldout path/to/copy-prompts.json。JSON 条目携带来自打包模型分词器的 source、prompt_len 和 input_ids。
校验代码,以及用于你自己的 drafter 的打包器:
python runtime_mlx/test_fast_q35.py LAMQ_Q35_PACKED=path/to/packed python runtime_mlx/test_block_q35.py python runtime_mlx/check_drafter.py path/to/packed path/to/drafter python runtime_mlx/bench_drafted.py path/to/packed path/to/drafter --heldout path/to/drafter/heldout/heldout.json --take 30 python pack_drafter.py path/to/drafter path/to/drafter-4bit
runtime_mlx/pack_dense.py 从微调构建的稠密权重写出打包文件,runtime_mlx/modal_pack.py 在 Modal 上运行它。check_drafter.py 在 drafter/reference.py 写出的参考块上,将 MLX 中的 drafter 与 SpecForge 自己的模型进行比较。
各部分的位置
| 路径 | 内容 |
|---|---|
compiler.py |
测量与分配 |
compiler_arch.py |
编译器如何找到模型的层、表和阶段,以及文本混合 |
quantize.py |
构建程序或计划,然后对其评分 |
row_importance.py、rowgroup_alloc.py、row_allocation.py、compiler_artifact.py |
每行的位数:每行的重要性、分配方案、它比较的构建,以及为它们定价的打包格式 |
math_calibration.py、checked_solutions.py、other_text.py、calc_check.py、token_kinds.py |
配方用于校准和微调的文本、所述计算的检查器,以及每个位置预测的 token 类型 |
finetune.py、finetune_lib.py、fast_delta.py |
以代码结尾的微调,以及 Qwen3.5 更快的线性注意力规则 |
math_bench.py、math_eval.py、text_kl.py |
精确答案数学基准、其用于 Qwen3.5 系列和 Bonsai 的运行器,以及文本上相对原始模型的 KL |
gguf_compiler.py、public_eval.py、eval_tasks.py |
llama.cpp 路线、公开量化和任务基准 |
pyproject.toml、runtime_mlx/runtime.py、runtime_mlx/cli.py |
可安装的 Apple Silicon 运行时包、统一的 load/Runtime Python API,以及 lamq CLI |
lamq_export.py、runtime_mlx/ |
导出格式和 Apple Silicon 运行时 |
runtime_mlx/fast_q35.py、block_q35.py、block_argmax_q35.py、pack_dense.py、modal_pack.py |
用于打包的 Qwen3.5-4B 和 Qwen3.8-27B 文件的运行时:一次一个 token、一次处理 8 或 16 个 token 的块,以及打包器 |
runtime_mlx/inkling/、runtime_mlx/test_inkling.py |
Apple Silicon MLX 运行时、4 KB SRAM ht2/ht3 Metal 内核,以及用于打包的 Inkling-2-Mini 模型的 4 位 DSpark block-8 推测 drafter |
runtime_mlx/drafter_q35.py、draft_vocab_q35.py、convert_dspine.py、check_drafter.py、bench_drafted.py、drafter/、modal_drafter.py、pack_drafter.py |
使用 DSpine drafter 的推测解码、Tencent DSpine 转换、drafter 训练,以及以 4 位存储的 drafter |
opgraph/ |
语法:将模型视为张量网络,以及作用于它的重写和代码 |
run_completeness.py、make_report.py |
对九种已发表方法被精确复现的检查 |
analyze_compiler.py |
计划结果表 |
run_batch.py、modal_app.py、modal_gguf.py、modal_fetch.py |
命名作业和 Modal 运行器 |
results/compiler/plans/、results/compiler/rows/ |
每个计划,以及 Qwen3.5-4B 在 1.2 GB 下的行计划 |
results/protocols/ |
第二套 216 道题的数学题集,以及每道被排除在训练文本之外的问题的哈希 |
cache/codes/ |
1 到 4 位的 e-means trellis 码本 |
results/batch/、results/gguf/ |
网站背后的测量和计划运行 |
results/COMPILER.md、results/COMPLETENESS.md |
关于编译器在 SmolLM2-360M 和 Qwen3.5-4B 上的说明,以及复现检查的说明 |
site/ |
网站。在其中运行 python3 -m http.server 8000,然后访问 http://localhost:8000 |
site2/ |
LookAtMyQuant 2 页面。运行方式相同 |
tests/ |
语法和代码的测试 |
测试需要 SmolLM2-360M 和 WikiText-2
每个测试文件都从仓库根目录单独运行,全部七个在一分钟内完成。
python tests/test_frame.py python tests/test_grammar.py python tests/test_codes.py python tests/test_elements.py python tests/test_nested.py python tests/test_rowgroup_alloc.py python tests/test_reallocation.py
runtime_mlx/test_core.py 对照量化器的数学检查运行时。先运行 python runtime_mlx/make_ref.py,它会写出 1.6 GB 的参考文件。
runtime_mlx/test_fast_q35.py 和 runtime_mlx/test_block_q35.py 在没有模型的情况下,对照独立解包代码的 NumPy 乘积检查 Qwen3.5 内核。当 LAMQ_Q35_PACKED 指定一个打包文件时,第二个还会对照逐个解码来检查一个 token 块。当 LAMQ_Q38_PACKED 指定打包的 Qwen3.8-27B 文件时,它会在输出头与嵌入分开存储的模型上运行相同的检查。
本仓库省略的内容
- 模型权重。所有内容都从 Hugging Face 下载。Qwen3.5-4B 作业期望该模型位于卷上的
models/Qwen3.5-4B中。 - 基准副本。
eval_tasks.py会下载其基准。在离线机器上,它从data/bench/读取导出的副本,而这些副本不在这里。Modal 镜像离线运行,因此请先将基准缓存到卷上。 - 组装
site/data.json的脚本。它是一组一次性步骤。源数字都在results/中。 - LookAtMyQuant 2 的稠密权重和结果文件。这个 1.2 GB 的文件是以打包格式发布的版本。基准测试所运行的稠密权重并未公开,
site2/data.json背后的逐题结果以及用这些结果生成页面数字的脚本也都没有公开。 - 16 位精度的草稿模型。训练完成时的草稿模型为 1.8 GB,并未公开。4 位版本是一个发布文件,
modal_drafter.py负责训练它。
来源:Hacker News · github.com