ScaleDown 发布 Classify、Extract、Summarize 三个 Constrained Decoding Models

Rohan Paul· @rohanpaul_ai · X·2026-10-13 20:42· 20 分钟前AI 评分54

AI 导读

ScaleDown 发布 3 个面向单一任务的 Constrained Decoding Models（Classify、Extract、Summarize），不做逐 token 生成，只对输入做一次 prefill 并从原文中直接选出答案。

正文

从一份 300 页的 PDF 中提取截止日期，不该需要一个会写作的模型。

决策模型现在拥有 1M token 的上下文窗口，而且它们也能处理图像。

ScaleDown 发布了 3 个小模型（Classify、Extract、Summarize），用于智能体通常交给昂贵 LLM 处理的简单、重复性工作。

比前沿 LLM API 快 200 倍、便宜 467 倍。每百万输入 token 收费 $0.05，输出免费。

更大的变化在于，同一套设计现在覆盖了分类、提取和摘要。

与常规 LLM 的区别在于，这些模型不会逐 token 写出答案。它们一次性读取最多 1M token 的文本和图像，并直接从输入中选出答案，因此输出免费，结果始终限定在你的标签或源文本之内

ScaleDown 的 Constrained Decoding Models 对输入执行一次 prefill，并从中选出答案：一个标签、一个带源偏移量的片段，或属于摘要的段落。

https://x.com/neal_k_patel/status/2109978626124898587/video/1

引用Neal Patel@neal_k_patel

你已经把答案给了 LLM。那它为什么还要从头把它写出来？介绍一种新的 AI 模型架构：Constrained Decoding Models（CDMs） LLM 是为写作而构建的。大多数生产工作负载只需要一个答案：快速、一致且负担得起。 CDM 每个都专为 1 项任务而构建。它们只读取一次你的输入，并跳过让 LLM 变得缓慢且昂贵的逐 token 生成循环。不只是决策模型，今天上线的还有 3 个 CDM 组成的系列： • Classify：定义你的标签，获得每个标签的校准概率 + 理由。用于路由、打标签和意图检测。 • Extract：用自然语言描述实体，获得格式良好的 JSON，包含置信度分数 + 引用。用于网页抓取、文档处理和 PII 脱敏。 • Summarize：传入长文本、图像或 PDF，获得 1,000 token 以内的一致摘要。用于上下文压缩、元数据生成和转录摘要。为生产而构建： • 1M token 的多模态（文本 + 图像）输入，比 Jev 大 31 倍 • DecisionBench 上达到 77.2%，而 Jev 为 72% • 比前沿 LLM API 快 200 倍、便宜 467 倍 • $0.05/M 输入 token。输出免费（是的，即使摘要也免费）今天已在您喜爱的平台上上线： @OpenRouter @vercel_dev @LiteLLM @LangChain @TrustedRouter @itsArthurAI @useRouterPlus 在下方链接免费获得 50M 输入 token（前 50 小时内）👀

在 X 查看被引用的帖子

来源：Rohan Paul · x.com