跳到正文
Hacker News· k__·· 3 小时前AI 评分66

LookAtMyQuant 将 Inkling-2-Mini 压缩至 5.4 GB 并发布 Apple Silicon 运行时

Inkling-2-Mini in 5.4 GB Memory

AI 导读

LookAtMyQuant 是一个量化编译器,按每块权重对输出的影响分配码本,把 thinkingmachines/Inkling-2-Mini 从 18.89 GB 文本权重压到 5.38 GB(1.63 bits/weight)和 8.87 GB(2.69 bits/weight)。

正文 · AI 翻译

LookAtMyQuant 是一个量化编译器。它衡量模型中被存储的每一部分在压缩时对输出的损害程度,然后为每一部分选择一种编码,使整个模型在满足大小预算的同时损害最小。

在 Gemma 4 E2B 上,其 GGUF 在相同文件大小下的 KL 比 Q4_K_M 低 12 倍。方法和所有结果都在网站上。

代码采用 MIT 许可证。

LookAtMyQuant 2:1.2 GB 的 Qwen3.5-4B

LookAtMyQuant 2 将 Qwen3.5-4B 压缩到 1.23 GB,每权重 2.3 比特。该文件解决了 540 道精确答案数学题中的 330 道。Prism ML 的 Bonsai 2 Ternary 4B 在 1.20 GB 下解决了 328 道,原始模型解决了 359 道。其在留出文本上相对原始模型的 KL 为 0.45 nats,而 Bonsai 为 0.59。

该方案是使用 trellis 码的训练后量化,在模型自己生成的数学解答上校准,数字 token 权重为 10 倍,并按 Fisher 信息逐行分配比特。随后进行 4,000 步蒸馏,其中每一层都从原始权重重新量化一次。页面包含发现、完整方案及其成本,约 34 美元的 GPU 时间。

方案的代码在这里,下一节运行它。1.23 GB 文件本身是lm2-qwen35-4b-1.2gb 发布版,为 Apple Silicon 运行时打包。

7.2 GB 的 Qwen3.8-27B

同一方案将 Qwen3.8-27B 从 53.7 GB 压缩到 7.2 GB,每权重 2.1 比特,在英文散文和聊天、代码和数学上校准和蒸馏。该文件解决了 540 道数学题中的 401 道,与原始模型一样多,而 Unsloth 同尺寸的 UD-IQ2_XXS GGUF 解决了 348 道。它在 HumanEval(73.8% 对 67.1%)、MMLU(78.8% 对 75.0%)和 GSM8K(94.5% 对 92.7%)上也高于该 GGUF。

旁边是一个 4 比特 DSpine 草稿模型(1.02 GB,用 runtime_mlx/convert_dspine.py 从 tencent/Qwen3.8-27B-DSpine-b16 转换并用 pack_drafter.py 打包),在 Apple Silicon 上使数学和代码的解码速度大约翻倍。

5.4 GB 和 8.9 GB 的 Inkling-2-Mini

同一编译器和近端微调(SQYFR),扩展到 26.4B 物理 / 5.4B 激活的 3 次循环 MoE(L6–17 循环 3 次 = 48 次逻辑访问,128 专家 top-8),将thinkingmachines/Inkling-2-Mini 从 18.89 GB 文本权重压缩到 5.38 GB(1.63 比特/权重) 和 8.87 GB(2.69 比特/权重),使用 4 KB SRAM 哈希块向量 trellis 码(ht2/ht3)、行 trellis 码(rtr1/rtr4),以及尾部 lm_head 桶上的 tr2 下限(head.7)。

在相同的 BF16 教师模型上评估,openai/gsm8k(test[:200],贪心,reasoning_effort="none"),所有 164 可执行 openai/openai_humaneval 问题,4 Vision VQA 测试(使用未改动的 637 MB BF16 视觉塔),以及 16+13 语言 TextMix 窗口:

模型 文本 GB free_KL(en/chat/code) all13_KL GSM8K(200) HumanEval(164) 合并 vs 教师
原始 BF16 教师 18.89 0.0000 0.0000 147 / 200 (73.5%) 66 / 164 (40.2%) 100.0%
LookAtMyQuant 5.4 GB(SQYFR) 5.38 0.0895 0.2871 134 / 200 (67.0%) 60 / 164 (36.6%) 91.2%
Unsloth UD-IQ1_S 7.76 0.0808 0.1236 127 / 200 (63.5%) 46 / 164 (28.0%) 81.6%
LookAtMyQuant 8.9 GB(SQYFR) 8.87 0.0208 0.0571 148 / 200 (74.0%) 58 / 164 (35.4%) 96.8%
Unsloth UD-Q2_K_XL 9.14 0.0486 0.0811 132 / 200 (66.0%) 49 / 164 (29.9%) 85.3%
Unsloth UD-IQ3_XXS 11.66 0.0189 0.0278 148 / 200 (74.0%) 68 / 164 (41.5%) 101.4%

在5.38 GB下,Inkling-2-Mini-LookAtMyQuant-5.4GB在GSM8K和HumanEval上均优于Unsloth的9.14 GB UD-Q2_K_XL,体积小41%(未调优时为76/200和24/164)。在8.87 GB下,Inkling-2-Mini-LookAtMyQuant-8.9GB在GSM8K上与BF16原版持平,并在英语/聊天/代码上降低KL 2.34×,在全部13种语言上降低29.6%至UD-Q2_K_XL以下。两者均通过lamq和runtime_mlx直接运行,使用自定义Apple Silicon Metal内核(包括M5 MetalPerformancePrimitives MoE预填充 + FlashAttention-2 SDPA + 精确无偏temp > 0推测采样,以及可选的动态sigmoid Top-K路由、紧边界验证和N-gram提示查找),可选搭配178.9 MB的4-bit DSpark草稿模型:在M5 Max上,5.4 GB达到1,807 tok/s T=512预填充(T=128时为1,047 tok/s)、75.3 tok/s串行解码,以及124.4 tok/s中位无损草稿解码(142.9 tok/s数学、126.5 tok/s推理、122.2 tok/s代码、104.0 tok/s散文;启用top6 / max_logit_gap=0.30时最高可达~150–160 tok/s;5.98 GB活动内存),而8.9 GB以63.5 tok/s串行和106.0 tok/s中位解码(125.8 tok/s推理、123.8 tok/s数学;9.41 GB活动内存)。

安装并使用Apple Silicon运行时

在Apple Silicon上,直接安装运行时包(这会安装mlx、mlx-lm、numpy和huggingface-hub,且不包含PyTorch编译器依赖):

pip install git+https://github.com/ShinMegamiBoson/lookatmyquant.git

从本地克隆安装时,pip install -e .会安装lamq命令,或者不安装直接运行python -m runtime_mlx。

命令行。传入本地模型文件夹或Hugging Face仓库ID:

lamq generate shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB \
    -p "What is 17 times 23? Show the steps."

lamq generate shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB \
    --drafter shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB-drafter \
    -p "Write a Python function that merges overlapping intervals." --stats

lamq chat shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB \
    --drafter shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB-drafter

lamq generate shinmegamiboson/Inkling-2-Mini-LookAtMyQuant-5.4GB \
    --drafter shinmegamiboson/Inkling-2-Mini-LookAtMyQuant-drafter \
    -p "What is 17 times 23? Show the steps." --stats

省略-p时,lamq generate读取标准输入,支持--raw、--system、--thinking、--temp、--mode linear|chat-fork|copy-wide、--no-adaptive和--json。lamq info <model>可在不加载权重的情况下检查打包模型的格式和维度。

Python集成。runtime_mlx.load返回一个与mlx_lm.generate和mlx_lm.stream_generate兼容的(model, tokenizer)对(自动检测opgraph-packed-1模型,如Qwen3.5-4B / Qwen3.8-27B,以及lamq.json导出,如Gemma 4 E2B):

from mlx_lm import generate
from runtime_mlx import load

model, tok = load("shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB")
prompt = tok.apply_chat_template(
    [{"role": "user", "content": "What is 17 times 23? Show the steps."}],
    add_generation_prompt=True,
    enable_thinking=False,
)
print(generate(model, tok, prompt, max_tokens=200))

如需通过一个接口进行流式、多轮聊天或推测解码,请使用Runtime:

from runtime_mlx import Runtime

rt = Runtime.load(
    "shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB",
    drafter="shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB-drafter",
)
for chunk in rt.stream("Solve 3x + 4y = 31 and 5x - 2y = 17.", max_tokens=256):
    print(chunk.text, end="", flush=True)

用三条命令在SmolLM2-360M上运行编译器

安装依赖并下载模型和WikiText-2。代码在启动时会读取SmolLM2-360M的配置,因此请先完成此操作。

pip install -r requirements.txt
python -c "from huggingface_hub import snapshot_download as d; d('HuggingFaceTB/SmolLM2-360M')"
python -c "from datasets import load_dataset as l; l('Salesforce/wikitext', 'wikitext-2-raw-v1')"

测量。这会一次压缩一个部分,其余部分保持精确,并记录与原模型的KL。该模型的完整集合共2,312次测量,在L40S上耗时约50分钟。

python compiler.py measure --model HuggingFaceTB/SmolLM2-360M --part linear --layers 0-3 --out results/batch/my_measurements.json

分配。这会为每个部分选择一个代码,在预算内使KL总和最小。它不需要GPU。此命令使用本仓库中的SmolLM2-360M测量结果,预算为每权重3.044比特。

python compiler.py allocate --sens 'results/batch/ccSens*.json' --target disk --items linear --bits 3.044 --out results/compiler/plans/my_plan.json

它写出的方案与results/compiler/plans/sm_lin_3044.json具有相同的宽度。

构建并评分。这会按方案对模型进行量化,一次一个矩阵。然后报告在WikiText-2测试集上相对于原模型的困惑度和KL。

python quantize.py --program plan --model HuggingFaceTB/SmolLM2-360M --plan results/compiler/plans/my_plan.json --out results/my_run.json

我们对该方案的运行结果在results/batch/cc_sm_lin_3044.json中。它达到困惑度16.64和KL 0.0926,而原模型困惑度为15.31。添加--layers 1 --calib 8 --eval 2可快速检查一切是否正常。

在Qwen3.5-4B上运行LookAtMyQuant 2配方

每一步都是一个命名作业;python run_batch.py --list会打印其命令。这些作业需要卷上models/Qwen3.5-4B中的Qwen3.5-4B和文本混合(modal run --detach modal_fetch.py --text)。它们生成的每个文件都会写入卷上的lm2/。

modal run --detach modal_app.py --jobs lm2Text
modal run --detach modal_app.py --jobs lm2Calibration,lm2Solutions
modal run --detach modal_app.py --jobs lm2RowImportance
modal run --detach modal_app.py --jobs lm2Build
modal run --detach modal_app.py --jobs lm2Finetune
modal run --detach modal_app.py --jobs lm2Math,lm2Math216,lm2TextKL
作业 脚本 作用 我们的运行
lm2Text other_text.py 原模型回答科学、代码、指令和工具提示,以及MATH和GSM8K训练问题。这还会下载MATH
lm2Calibration math_calibration.py 校准集:原模型对384个MATH训练问题的贪心解,以2,048个token为窗口 15分钟,H100
lm2Solutions checked_solutions.py 微调所蒸馏的数学文本:MATH 问题的解答,以及来自另一随机种子的 math_bench.py 问题的解答,其中错误计算已更正,只保留正确答案 33 分钟,H100
lm2RowImportance row_importance.py 每个输出行在数字预测位置上的 Fisher 信息 1 分钟,H100
lm2Build quantize.py 训练后量化:沿行使用 trellis 码,数字 token 在 Hessian 中权重为 10×,QEP 取 α = 0.5,每行比特数来自行计划,e-means 码本 37 分钟,H100
lm2Finetune finetune.py 对潜在权重进行 4,000 步蒸馏,将其拉向各自的码,每一层都从原始权重重新量化一次 2.7 小时,B200
lm2Math, lm2Math216 math_eval.py 540 题基准以及另一组 216 题,用于原始模型、Bonsai、构建版本和微调后的构建版本 每个模型 20 分钟,H100
lm2TextKL text_kl.py 在 WikiText-2 上以及文本混合的 13 个来源上相对原始模型的 KL 每个模型 1 分钟,H100

lm2BuildSmoke、lm2FinetuneSmoke 和 lm2MathSmoke 在两层上运行相同代码,60 步和 36 个问题,每次只需几分钟。

行计划。lm2Build 读取 results/compiler/rows/q35_rowplan_1p2GB.json,它为 1,520 个行组各分配 1 到 4 比特。row_allocation.py 生成了它。其 build-control 命令构建并打包一个具有固定行划分的对照,prepare-rows 用 rowgroup_alloc.py 在对照的打包字节内分配行,build-rows 按计划构建并对照计划检查打包大小。

码本。构建时用于解码的四个 e-means 码本位于 cache/codes/。--trellis-fit lloyd 给出了较早的码本,变更前制定的计划会保留它们,除非标志另有说明。

近期等字节配方改进。编译器和微调脚本中提供了两项零字节新增:

  • Softmax-Fisher token 表排序(compiler.py measure 和 quantize.py 中的 --embed-order sfisher-mix)。通过输出 Softmax-Fisher E[p_v (1 - p_v)] 与语料频率的 50/50 混合对绑定的嵌入/输出桶进行排序(未绑定的输出头则仅按 Softmax-Fisher 排序)。
  • 训练中期等字节行重分配(finetune.py 中的 --realloc-at 1000)。与 --rebuild-at 1000 配合,测量每一层的连续与存储近端 KL 差距 KL(all P) - KL(layer = W),将比特移向深层未吸收层,同时保持精确的文件大小(--realloc-max-delta 1)。在 Qwen3.5-4B 上以相同的 1.23 GB 与 sfisher-mix 结合(2.297 bpp),WikiText-2 KL 从 0.425 降至 0.387(−9.0%),13 来源 KL 从 0.447 降至 0.378(−15.5%,全部 13 个来源均有改善)。

这些作业与我们运行的不同之处。我们的 GSM8K 解答是更早编写的,思考始终关闭。我们在 13 个来源上的文本 KL 使用了由单独工具从文本混合中选取的 52 个窗口;--sources mix 采用混合自身的评估窗口,我们的文件在其上得分为 0.44,而页面报告为 0.45。

大型模型在 Modal 上运行,每个作业一块 GPU

run_batch.py 命名每个作业,modal_app.py 运行它们。modal_fetch.py 下载模型以及用于校准和评估的文本混合。

modal run modal_app.py::setup
modal run --detach modal_fetch.py --text
modal run --detach modal_fetch.py --models google/gemma-4-E2B-it
modal run --detach modal_app.py --jobs ccMG4E2Noise,ccMG4E2Spot,ccMG4E2EmbKv

该网站背后的运行使用了这些机器,每台有 8 个 CPU 核心:

模型 GPU 时间
SmolLM2-360M L40S 测量约 50 分钟,分 9 个并行作业
Gemma 4 E2B,测量 H100 每个作业 7–26 分钟,共 4 个作业
Gemma 4 E2B,构建计划 H100 每个计划 28–58 分钟

gguf_compiler.py 从 llama.cpp 自身的张量类型生成计划,因此结果可直接在 llama.cpp 中运行。public_eval.py 以与我们计划相同的方式对公开量化进行评分。两者都在 modal_gguf.py 中的镜像内运行,该镜像使用 CUDA 构建 llama.cpp。

Apple Silicon 运行时读取 Lloyd–Max 和 trellis 计划

quantize.py --export <folder> 按 runtime_mlx/ 读取的格式写出计划。带有 trellis 码的计划还需要 --trellis-rows 16,8,它让每条 trellis 路径沿其矩阵的一行运行,因此解码某个条目时只需读取该行。在 Apple silicon 上,pip install . 会安装 mlx 和 mlx-lm;requirements.txt 存放 PyTorch 编译器依赖。

在 2.5 GB 的 Gemma 4 E2B 上,trellis 计划的 KL 比 Lloyd–Max 计划低 26%,解码速度约慢 22%。runtime_mlx/test_trellis_gen.py 和 runtime_mlx/test_trellis.py 会用量化器构建的矩阵来校验 trellis 内核。

python runtime_mlx/bench.py lamq path/to/export

一个 drafter 让 1.2 GB 文件在 Apple silicon 上的生成速度提升到 1.5 至 2 倍

runtime_mlx/fast_q35.py 直接从 trellis 码中逐 token 解码打包的 1.2 GB Qwen3.5-4B 文件。runtime_mlx/drafter_q35.py 增加了推测解码。一个小型 drafter 在一次前向中提出模型最新 token 之后的七个 token。随后模型在其编码权重(runtime_mlx/block_q35.py)上的一次前向中检查全部八个位置,并保留与自身选择相符的提议,因此文本与它自己的贪心文本完全一致。

在 M5 Max 上,对 30 个最多 256 token 的留出提示,使用 drafter 的生成速度是 2.0 倍:每秒 176 个 token,对比 88 个,于 2026-11-11 在同一进程内交替计时。一次检查平均保留 4.3 个 token。在八个日常提示上,速度是 1.5 倍。增益取决于文本的可预测性:代数 2.5 倍、代码 2.0 倍、聊天 1.2 倍、故事 1.05 倍,并且 30 个留出提示中有一个在使用 drafter 时反而更慢。每个提示上的文本都与普通贪心解码一致。这些是首个 token 之后的速度;读取提示在两种情况下都约需 0.1 秒。

此代码中包含两项后续改动。每项都在 40 次配对生成上与前一个版本进行了对比测量:从 96,033 个最常见 token 中提议快了 6.0%,在打包乘积内部选出获胜 token 快了 5.3%。线性模式还默认启用自校准自适应回退(adaptive=True;传入 --no-adaptive 可禁用):当滚动接受率低于实测的盈亏平衡比率(起草-校验延迟与串行步进延迟之比,计入缓存刷新和 drafter 上下文重放)时,它会暂停起草,改为短时的精确串行突发,并在接受率恢复后继续,从而保持逐位精确的贪心一致性,同时避免在低接受率的散文上变慢。

该 drafter 是一个 DSpine 模型,使用 SpecForge 从已发布的 Qwen3.5-4B DFlash drafter 在 1.2 GB 文件自身的贪心答案上训练而成。modal_drafter.py 将训练作为一个 Modal 作业运行,花费 $42。在 300 个留出提示上,训练后的 drafter 每次检查得到 4.65 个 token,而原版 DFlash drafter 为 4.30。

pack_drafter.py 在构建自身的代码中以每权重 4 位存储 drafter,无需校准数据:464 MB,而 16 位为 1.83 GB。在 60 个留出提示上,4 位 drafter 每次检查保留 4.35 个 token,对比 4.38,且文本相同。drafter_q35.py 可加载任一形式,并在加载时将打包形式以稠密形式写出。4 位 drafter 是 lm2-drafter-4bit 发布版。它与打包的 1.2 GB 文件 lm2-qwen35-4b-1.2gb 发布版 一同运行。

gh release download lm2-qwen35-4b-1.2gb --repo ShinMegamiBoson/lookatmyquant -D q35-1.2gb
gh release download lm2-drafter-4bit --repo ShinMegamiBoson/lookatmyquant -D drafter-4bit
python runtime_mlx/bench_drafted.py q35-1.2gb drafter-4bit

基准测试默认使用线性校验。使用 --mode chat-fork 在模糊的早期位置尝试第二个候选,或使用 --mode copy-wide 处理已知的连续复制。复制模式使用源游标,并为 16 槽检查调整 gate/up 和 down 投影。两种模式都用打包的目标模型校验所有生成的 token。要基准测试聊天分支,请运行:

python runtime_mlx/bench_drafted.py q35-1.2gb drafter-4bit --mode chat-fork --prompts chat

对于复制基准测试,传入 --mode copy-wide --heldout path/to/copy-prompts.json。JSON 条目携带来自打包模型分词器的 source、prompt_len 和 input_ids。

校验代码,以及用于你自己的 drafter 的打包器:

python runtime_mlx/test_fast_q35.py
LAMQ_Q35_PACKED=path/to/packed python runtime_mlx/test_block_q35.py
python runtime_mlx/check_drafter.py path/to/packed path/to/drafter
python runtime_mlx/bench_drafted.py path/to/packed path/to/drafter --heldout path/to/drafter/heldout/heldout.json --take 30
python pack_drafter.py path/to/drafter path/to/drafter-4bit

runtime_mlx/pack_dense.py 从微调构建的稠密权重写出打包文件,runtime_mlx/modal_pack.py 在 Modal 上运行它。check_drafter.py 在 drafter/reference.py 写出的参考块上,将 MLX 中的 drafter 与 SpecForge 自己的模型进行比较。

各部分的位置

路径 内容
compiler.py 测量与分配
compiler_arch.py 编译器如何找到模型的层、表和阶段,以及文本混合
quantize.py 构建程序或计划,然后对其评分
row_importance.py、rowgroup_alloc.py、row_allocation.py、compiler_artifact.py 每行的位数:每行的重要性、分配方案、它比较的构建,以及为它们定价的打包格式
math_calibration.py、checked_solutions.py、other_text.py、calc_check.py、token_kinds.py 配方用于校准和微调的文本、所述计算的检查器,以及每个位置预测的 token 类型
finetune.py、finetune_lib.py、fast_delta.py 以代码结尾的微调,以及 Qwen3.5 更快的线性注意力规则
math_bench.py、math_eval.py、text_kl.py 精确答案数学基准、其用于 Qwen3.5 系列和 Bonsai 的运行器,以及文本上相对原始模型的 KL
gguf_compiler.py、public_eval.py、eval_tasks.py llama.cpp 路线、公开量化和任务基准
pyproject.toml、runtime_mlx/runtime.py、runtime_mlx/cli.py 可安装的 Apple Silicon 运行时包、统一的 load/Runtime Python API,以及 lamq CLI
lamq_export.py、runtime_mlx/ 导出格式和 Apple Silicon 运行时
runtime_mlx/fast_q35.py、block_q35.py、block_argmax_q35.py、pack_dense.py、modal_pack.py 用于打包的 Qwen3.5-4B 和 Qwen3.8-27B 文件的运行时:一次一个 token、一次处理 8 或 16 个 token 的块,以及打包器
runtime_mlx/inkling/、runtime_mlx/test_inkling.py Apple Silicon MLX 运行时、4 KB SRAM ht2/ht3 Metal 内核,以及用于打包的 Inkling-2-Mini 模型的 4 位 DSpark block-8 推测 drafter
runtime_mlx/drafter_q35.py、draft_vocab_q35.py、convert_dspine.py、check_drafter.py、bench_drafted.py、drafter/、modal_drafter.py、pack_drafter.py 使用 DSpine drafter 的推测解码、Tencent DSpine 转换、drafter 训练,以及以 4 位存储的 drafter
opgraph/ 语法:将模型视为张量网络,以及作用于它的重写和代码
run_completeness.py、make_report.py 对九种已发表方法被精确复现的检查
analyze_compiler.py 计划结果表
run_batch.py、modal_app.py、modal_gguf.py、modal_fetch.py 命名作业和 Modal 运行器
results/compiler/plans/、results/compiler/rows/ 每个计划,以及 Qwen3.5-4B 在 1.2 GB 下的行计划
results/protocols/ 第二套 216 道题的数学题集,以及每道被排除在训练文本之外的问题的哈希
cache/codes/ 1 到 4 位的 e-means trellis 码本
results/batch/、results/gguf/ 网站背后的测量和计划运行
results/COMPILER.md、results/COMPLETENESS.md 关于编译器在 SmolLM2-360M 和 Qwen3.5-4B 上的说明,以及复现检查的说明
site/ 网站。在其中运行 python3 -m http.server 8000,然后访问 http://localhost:8000
site2/ LookAtMyQuant 2 页面。运行方式相同
tests/ 语法和代码的测试

测试需要 SmolLM2-360M 和 WikiText-2

每个测试文件都从仓库根目录单独运行,全部七个在一分钟内完成。

python tests/test_frame.py
python tests/test_grammar.py
python tests/test_codes.py
python tests/test_elements.py
python tests/test_nested.py
python tests/test_rowgroup_alloc.py
python tests/test_reallocation.py

runtime_mlx/test_core.py 对照量化器的数学检查运行时。先运行 python runtime_mlx/make_ref.py,它会写出 1.6 GB 的参考文件。

runtime_mlx/test_fast_q35.py 和 runtime_mlx/test_block_q35.py 在没有模型的情况下,对照独立解包代码的 NumPy 乘积检查 Qwen3.5 内核。当 LAMQ_Q35_PACKED 指定一个打包文件时,第二个还会对照逐个解码来检查一个 token 块。当 LAMQ_Q38_PACKED 指定打包的 Qwen3.8-27B 文件时,它会在输出头与嵌入分开存储的模型上运行相同的检查。

本仓库省略的内容

  • 模型权重。所有内容都从 Hugging Face 下载。Qwen3.5-4B 作业期望该模型位于卷上的 models/Qwen3.5-4B 中。
  • 基准副本。eval_tasks.py 会下载其基准。在离线机器上,它从 data/bench/ 读取导出的副本,而这些副本不在这里。Modal 镜像离线运行,因此请先将基准缓存到卷上。
  • 组装 site/data.json 的脚本。它是一组一次性步骤。源数字都在 results/ 中。
  • LookAtMyQuant 2 的稠密权重和结果文件。这个 1.2 GB 的文件是以打包格式发布的版本。基准测试所运行的稠密权重并未公开,site2/data.json 背后的逐题结果以及用这些结果生成页面数字的脚本也都没有公开。
  • 16 位精度的草稿模型。训练完成时的草稿模型为 1.8 GB,并未公开。4 位版本是一个发布文件,modal_drafter.py 负责训练它。

来源:Hacker News · github.com