TypeLLM 发布开源工作流模型，单次 API 调用执行类型化工作流

Rohan Paul· @rohanpaul_ai · X·2026-10-15 21:15· 2 小时前AI 评分50

AI 导读

TypeLLM 发布开源工作流模型，可将整个工作流作为一次 API 调用执行，把 JSON Schema 转成依赖图并在单一共享上下文上运行。它基于 SGLang 做约束解码，enum/boolean 只给一个打分 token、数字限定位数、依赖图复用缓存前缀，因此无需改动权重即可从原生 Qwen checkpoint 获得 schema 保证的输出。

正文

开源遇上类型安全的 AI，就用 TypeLLM。

聊天模型给你一个回复，决策模型给你一个选择，但 TypeLLM 的构建目标是用一次 API 调用运行你的整个工作流。

大多数生产流水线需要介于两者之间的东西：若干个带类型的答案，有些依赖其他答案，还有一些只应在特定条件下存在。

TypeLLM 将整个形态视为一个 JSON Schema，并在单一共享上下文上将其作为依赖图执行。

带类型的 LLM 输出，公开构建。

你可以从原生 Qwen checkpoint 获得 schema 保证的输出，而无需改动其权重。

这种保证来自请求的构建和解码方式。

TypeLLM 基于 SGLang，将 JSON Schema 转为约束解码：enum 或 boolean 只给一个打分 token，数字限定位数，依赖图复用缓存前缀。

因此字段无法返回其 enum 之外的值，因为解码器只考虑允许的候选。

https://x.com/TypeLLM/status/2110281195380736292/video/1