跳到正文
10月13日周二
  1. Hacker News38

    Quail 如何用 Trie 树执行 AI.CLASSIFY 分类

    Quail 是 AI-SQL 执行引擎,其 AI.CLASSIFY 算子支持三种实现:trie_decode 逐 token 贪心生成标签、trie_tree 一次请求为所有标签打分、letters 为每个标签打一个字母分。以 Qwen3-4B-fp8 为例,AI.CLASSIFY 接收文档与 2 至 255 个标签,始终返回其中一个标签,并可通过 probabilities 选项输出各标签概率。

  2. GitHub58

    Trace 发布本地优先的 AI 编码智能体执行追踪工具

    Trace 发布本地优先的 AI 编码智能体执行追踪工具,为每次会话记录文件改动、执行的命令、token 花费与风险项,并支持一键回滚。它通过 Git 检查点、命令守卫(allow/warn/require-approval/block)和密钥扫描实现确定性检测,守卫路径不调用 LLM、无需 API key,守护进程与仪表盘只绑定 127.0.0.1。

  3. GitHub42

    RamaLama:用 OCI 容器简化本地 AI 模型推理与部署

    开源工具 RamaLama 通过 OCI 容器简化本地 AI 模型的推理与部署,可自动检测主机 GPU 并拉取对应的加速容器镜像,无需手动配置主机系统。它支持多种模型注册表(含 OCI 容器注册表),以无根容器隔离运行模型,默认无网络访问并在退出时清除临时数据,可通过 REST API 或聊天机器人交互。RamaLama 支持 macOS、Fedora、Windows 及 PyPI 安装。

  4. vLLM Blog62

    vLLM 引入双向 KV 传输,多轮智能体负载 TTFT 最高降低 3.3 倍

    vLLM 新增双向 KV 传输能力,让 decode 节点把已计算的 KV 块回传给 prefill 节点,避免多轮对话中重复计算历史上下文。在 1P1D 部署、Amazon EC2 P5en 加 AWS EFA 的测试中,最长提示下 Qwen3-32B 的 TTFT 降低约 1.6 倍,zai-org/GLM-5-FP8 降低约 3.3 倍。

    推荐理由:原文给出双向 KV 传输的架构、可调参数与复现步骤,读者可据此评估多轮智能体场景下的 TTFT 收益。