IBM 发布 vLLM-Hook MIA 插件，实现近零开销的模型运行时监控与转向

IBM Research：AI·2026-10-21 20:00· 54 分钟前AI 评分53

新插件可实现快速运行时监控与控制

AI 导读

IBM 发布插件库 vLLM-Hook MIA（model internals aperture），面向 vLLM 推理引擎，让开发者在不关闭图捕获与回放的情况下于运行时观察和干预模型内部状态，例如拒绝恶意提示词、标记幻觉或调整回复语气。

正文 · 原文

当 LLM 处理传入的提示词并构思回复时，底层会发生大量运算。然而，这些生成处理过程几乎不会体现在最终呈现给用户的文本中。

你可以借助各种解释和引导 AI 模型行为的工具，让 LLM 隐藏的“思考”过程变得可见，但其中大多数与为速度优化的推理引擎不兼容。在生产环境中，模型的安全性、语气和准确性最为重要，而这些安全工具通常会带来长时间延迟。这就留下了两种选择：训练轻量级适配器来处理特定问题，或者重新训练模型并重新计算其权重。

IBM 的新插件库不再对模型本身做改动，而是将目标对准为模型提供服务的推理引擎。这个名为 vLLM-Hook MIA 的插件旨在让开发者在运行时观察和引导模型不断演变的状态，从而执行诸如拒绝恶意提示词、标记“幻觉”事实，或调整回复语气与准确性等操作，同时几乎不拖慢性能。

MIA（model internals aperture）专为 vLLM 设计，后者是当前承载企业工作负载的主流开源推理引擎。在一份新的技术报告中，IBM 研究人员报告称，vLLM-Hook MIA 比其前身 vLLM-Hook 快最多 20 倍，比一种将代码插入模型以与之交互的类似方法快最多 14 倍。

“我们证明，你可以在不造成明显性能延迟的情况下观察并干预 AI 模型的生成过程，”领导 vLLM-Hook 项目的 IBM 研究员 Irene Ko 说。“我们希望这能让在 vLLM 中执行最后一刻的安全检查变得更加实用。”

速度与透明度

如今的推理引擎是为速度而设计的，其核心性能特性之一就是所谓的图捕获与回放，通常使用 NVIDIA 的 CUDA Graphs 实现。vLLM 将重复的执行步骤（例如解码阶段的前向传播）捕获为固定的执行图。随后，运行时不再逐个启动 GPU 内核，而是发送单条图回放命令，从而减少 CPU 瓶颈。

这一效率特性是 vLLM 高吞吐量的关键，也正是它使得在运行时监控和引导 LLM 如此困难。要检查或更改模型的神经激活，许多可解释性工具需要在每个模型层内运行 Python 代码。然而，在 vLLM 中，你只能通过禁用图捕获与回放并切换到其“eager”执行模式来做到这一点。

为了寻找变通方案，IBM 研究人员将目光投向了图回放。在 MIA 这一 vLLM-Hook 的最新版本中，GPU 算子在记录图之前捕获并引导模型内部状态。随后，一个“调度器”和一个“信使”负责管理对内部状态和数据流的访问，同时不中断 vLLM 的高效处理。

开发者指定他们想要捕获或引导的模型内部结构，调度器则将这些选择转换为存储在固定 GPU 内存地址上的路由条目。在图重放期间，GPU 使用这些条目来执行开发者的请求。随后，信使将捕获的数据移动到 CPU 内存，以便随模型输出一起交付。

我们希望这能让在 vLLM 中运行最后一刻的安全检查变得更加实用。

将可解释性工具从研究推向生产

与许多新技术一样，vLLM-Hook 始于一个问题。Ko 与专注于 AI 安全的 IBM 研究员 Pin-Yu Chen 及其同事合作，开发了一个注意力追踪工具，用于识别可能意图诱骗模型泄露其不应泄露信息的提示。Chen 的追踪器在推理时分析模型的注意力模式，并挑出表明模型可能即将无视其护栏的偏差。

在研究环境中，注意力追踪器运行良好。生产环境则是另一回事。“我说过这是个好主意，但让它能在 vLLM 中运行会很痛苦，”领导 AI 开发的 IBM 副总裁 David Cox 说。“他们把这个意见放在心上，并开始为 vLLM 构建扩展点。”

在与 Chen 以及就读于伦斯勒理工学院的实习生 Yunhua Fang 合作时，Chen 发现，在模型前向传播的解码器层中插入 Python“钩子”可以让 vLLM 的生成过程变得可见。借助几段代码，他们就能选取并捕获模型不断演变的状态，有点像一台被编程为在指定时刻录音的录音机。

你可以“读取”这些选定的状态，或者在其上“写入”以改善模型的响应。该团队在今年早些时候发布了 vLLM-Hook 的第一个版本。当他们运行注意力追踪器时，发现相比 Hugging Face transformers 库（许多研究工具最初部署的地方）实现了 1.7 倍加速。

为了进一步提升性能，他们寻找一种无需关闭图重放（vLLM 的快速执行模式）即可访问模型内部状态的方法。MIA 由此诞生。在实验中，Chen 和 Ko 表明，使用 vLLM-Hook-MIA 引导相对较小的模型（一个 8B Llama 和 Qwen 1.5B 模型）时，某些情况下推理仅延迟 2%。当他们运行大得多的 Llama 70B 模型时，引导开销仅增加到 6%。

毫不意外，MIA 胜过了那些依赖关闭 vLLM 图重放功能来实现运行时监控和引导的方法。它显著优于 vLLM-Hook 的第一个版本以及 vLLM-Lens——后者是英国政府开发的一个插件，同样使用 Python 钩子与模型层交互。

MIA 甚至优于 EasySteer，这是一种通过“分叉”vLLM 来向官方 GitHub 仓库的服务器端副本添加更改的引导方法。分叉会保持图重放开启，但要求开发者不断将其仓库与 vLLM 同步，而由于 vLLM 更新频繁，该项目官方并不鼓励这样做。

下一步是什么

能够对 AI 内容生成提供实时洞察和控制的工具，可以成为风险容忍度较低的企业的一道最后防线。在实验中，IBM 研究人员表明，vLLM-Hook MIA 可以启用这层额外保护。

为了让开源社区更多地体验这些工具，IBM 及其他机构的研究人员最近宣布了与即将在澳大利亚悉尼举行的 NeurIPS 2026 大会相关的 The Steerability Challenge。参与者可以通过设计一组引导干预措施来抑制“不诚实”行为，同时不降低模型的通用能力，从而角逐 25,000 美元的奖金。

快速服务客户是部署 AI 的企业最关心的问题，但可解释性和控制同样重要。借助 vLLM-Hook MIA，快速推理与更透明、可控的 AI 可以兼得。

来源：IBM Research：AI · research.ibm.com