为什么你需要自己运行 LLM 代理来掌握调用情况

我觉得这个标题已经完整表达了核心意思，但我还是要深入展开一下，毕竟这不是 Twitter。

你正在琢磨一个点子、一段代码，或者一个每年带来数十亿美元收入的 SaaS 应用——它大概还在拯救世界。也许你正在自动化抓取 Labubu 新品发布图片的克隆流程，把 2D 图像用 ComfyUI 转成 3D CAD，好让仿制品生产更快启动，因为春节就要到了，而全球制造业在那段时间会停摆。也许你喜欢用你的 token 去查询有史以来最强大的计算机软件，就为了查一个 McRib 之类的东西的宏量营养素信息。

你很可能正在和某种前端聊天，它绑定到你选择的服务商提供的付费订阅上。TUI、GUI、语音通话，随便什么。你的数据进去，他们的数据回来给你。这就是他们卖的东西，我很乐意现在就买。他们会给你看类似这样的东西，作为工作正在发生的证明：

那是个障眼法。那根本不是面向工程师的、带时间序列数据的 token 用量统计。我没法靠这种垃圾做决策。大实验室们肯定会有宝贵的洞察，分享给那些深入 Analytics 面板的好奇用户。

我没法靠这种垃圾做决策。我已经听到你在说了，“有 OTel 导出选项！！1！”。行吧，大概吧。这是一个理由，下面是我现在随手就能再列出的 5 个：

• 多提供商、多模型，统一在你控制的单一端点
• 记录哪个 key 在什么时间用哪个客户端调用了哪个模型，以及其状态
• 使用虚拟 API key，别再把你唯一的主 key 到处撒在工作、agent 和 harness 上
• 这是你掌控的基础设施
• 你可以极快地切换模型和提供商，而不用把一切重新设置一遍（大概又是第三次了吧）

我不会推荐你去用某个代理提供商，只建议你自己在你能控制的某个地方运行它。选定之后，别忘了你可以按实际需求修改它。我改过自己的，为了更好的洞察、自定义 MCP 服务器端点、额外功能。无论你选什么，你都应该能拿到类似这样的数据。

当我在一次编码会话中看到缓存未命中时，我能在 20 秒内手动定位原因。我还没把它自动化，但我用的代理有 API，所以自动化是可行的。

掌控你自己的基础设施、应用可见性、数据路径和存储。我在家这么做是因为好玩，也是我喜欢的学习方式。我在工作中这么做是因为不这么做就是我没把工作做好。我可能永远无法完全搞懂大语言模型到底是怎么运作的，没法在面试里白板推演它。但我能把它驯服，并确保它在提供推理服务时被妥善监控。