Corbenic AI 发布 Galahad：为 AI 提供 5000 万 token 长期记忆层

_{现已上线：pip install galahad-kv}

Galahad 是什么？

Galahad 是 AI 的记忆层。模型读一次文本，Galahad 就保留这次阅读。当再次需要该文本时，Galahad 把阅读结果返回，因此 GPU 永远不会重复读取同一文本。Galahad 还保存文档本身，并找到问题所涉及的部分，因此模型只读取重要的内容。

Galahad 拥有 C++ 核心，可运行在 llama.cpp、vLLM 和 SGLang 中。

为什么重要

• 不要为相同的 token 重复付费。 模型已经处理过的 token 不会再次处理。Galahad 返回阅读结果，而不是重新计算。 99.6% 的 token 从记忆中返回；在 vLLM 上快 14 倍，每个问题 0.59 秒。
• 字节级精确，而非近似。 返回的内容与输入完全相同：模型精确的阅读结果，以及以精确文本存储的文档。没有有损嵌入，没有 RAG 流水线那种“差不多就行”。100/100 正确，而 RAGFlow 为 77。
• 只读取重要的内容。 Blaise 找到问题所涉及的章节，因此模型读取 670 个 token，而不是 9,700 个。
• 读取超出上下文窗口的内容。 远超模型上下文的文本，实测最高达 5000 万 token，会被分部分读取；每部分的阅读结果被保存，问题所需的部分会被返回。无论文本是 100 万还是 5000 万 token，GPU 内存都稳定在 34.1 GB。
• 重启后依然存在的记忆，静态加密，且你的密钥永远不会离开你的机器。

安装

1 块 GPU 免费。

pip install galahad-kv

然后激活它（一条命令搞定所有）：

galahad free --org <your-secret-key> --email you@company.com --accept-non-commercial
galahad doctor          # library loads? licence valid? store writable?

• vLLM： vllm serve <model> --kv-transfer-config '{"kv_connector":"GalahadConnector","kv_role":"kv_both"}'
• SGLang： 添加 --hicache-storage-backend dynamic 并使用 Galahad 后端（见 wiki）
• 裸机 / 你自己的代码： 链接 libgalahad.so（随 wheel 提供）

Linux x86-64，Python 3.10–3.14。在 PyPI 上。 完整指南：wiki。

主要功能

核心

工作原理

• Taliesin 将模型的 KV 缓存保存到磁盘并恢复。它作为 vLLM KV 连接器、SGLang HiCache 存储后端以及 llama.cpp 槽保存和恢复功能接入。
• Blaise 将你的文档保存为精确文本，并返回问题所涉及的章节。文本以字节级精确方式存储。
• 5000 万 token 窗口： 长文本被分部分读取；每部分的阅读结果保存到磁盘，该部分从 GPU 中移除，因此当窗口在整个文本上移动时，GPU 内存保持稳定。问题所需的部分会被返回并据此作答。无需开启任何东西。见 wiki。
• 在你自己的程序中：llama.cpp 内置于 Galahad 库中；你的程序直接调用其 C API。

面向智能体

工作原理

• 智能体连接器：每一步一个装饰器，适用于 LangGraph、LangChain、CrewAI 或你自己的循环。每次运行都会变成一个因果图。
• 回放：一个 pytest 插件。录制一次；每次 CI 运行都会与录制内容对比，因此导致智能体出错的提示词改动会让构建失败。
• 故障查找器：返回所在层、做出决定的规则以及可疑块。证据不足时它会说“未知”，而不是猜测。
• 分支：KV 缓存的写时复制分支（fork、snapshot、restore、discard）。在 vLLM 和 SGLang 上通过每请求的 galahad_branch 标志实现；快照在重启后仍然存在。
• 检查器与回退：一个位于令牌之后的本地网页和 API，带有审计日志。回退必须由主机开启。

面向多用户

工作原理

• 前缀共享：共享的起点被保存为一系列块，查找会找到最长的已保存起点。仅当加载比计算更快时才会使用。
• 固定：当 Galahad 必须释放空间时，被固定的块会被跳过。
• 租户：每个租户有自己的键空间，命中、未命中和驱逐按租户分别计数。

信任与成本

工作原理

• 静态加密：对每个保存的块和目录使用 AES-256-GCM，密钥来自你自己的密钥服务。密钥错误时，存储会拒绝打开。
• 净化器：按主机声明的数字格式（bf16、f16）检查 NaN 和无穷大，并检查大小。
• FinOps：使用你的每小时 GPU 价格和使用水平。没有价格时它不给出数字，并说明缺少什么。

_{使用 Gemma 4 31B 在 llama.cpp、vLLM 和 SGLang 上实测，2026 年 9 月。}

已测试模型

Galahad 在来自 10 个系列的 30 个开放模型上进行了测试，规模从 7B 到 70B。

_{© 2026 Corbenic AI - Sietse Schelpe. 专利申请中。}