工具箱

• Ollama

  本地运行大模型

  Ollama 让本地运行与使用大模型变得简单，一条命令拉取并运行开源模型。

  最新 v0.40.5 · 3 天前仓库 ↗

  150,000★· Go· 推理与部署

• netdata

  面向全栈基础设施的实时可观测性监控平台

  Netdata 是一款高性能的实时可观测性平台，以秒级粒度采集并可视化服务器、容器、数据库和应用的全栈指标，内置 AI 辅助的异常检测与告警。

  最新 v2.12.1 · 10 月 8 日仓库 ↗

  80,777★· Go· 可观测与评测

• OmniRoute

  免费 MIT AI 网关，一个端点接入 359 家模型服务商

  OmniRoute 是免费 MIT 开源的 AI 网关：把 Claude Code、Cursor、Cline、Copilot 等客户端统一接入 359 家服务商、1200+ 模型，支持配额感知自动降级与 19 种路由策略。

  最新 v3.8.51 · 9 月 30 日仓库 ↗

  72,167★· TypeScript· 推理与部署

• vLLM

  高吞吐 LLM 推理引擎

  vLLM 是高性能的 LLM 推理与服务引擎，PagedAttention 大幅提升吞吐，适合生产部署。

  最新 v0.31.0 · 10 月 5 日仓库 ↗

  60,000★· Python· 推理与部署

• Cline

  VS Code 自主编码插件

  Cline 是 VS Code 里的自主编码 agent，能读文件、改代码、跑命令，把编辑器变成会写代码的协作者。

  最新 desktop-v0.0.48 · 今天仓库 ↗

  50,000★· TypeScript· 插件 Plugins

• Continue

  开源 AI 编码助手插件

  Continue 是开源的 AI 编码助手，作为 VS Code / JetBrains 插件运行，支持任意模型与上下文，可自托管。

  最新 v2.0.0-vscode · 6 月 19 日仓库 ↗

  30,000★· TypeScript· 插件 Plugins

• Roo Code

  可定制角色的 VS Code 编码插件

  Roo Code 是 Cline 的分支，强调多角色切换与可定制模式，一个插件扮演不同的编码角色。

  最新 v3.54.0 · 5 月 15 日仓库 ↗

  20,000★· TypeScript· 插件 Plugins

• Langfuse

  开源 LLM 可观测平台

  Langfuse 是开源的 LLM 可观测与评测平台，支持追踪、成本分析与用户反馈闭环。

  最新 v4.63.0 · 昨天仓库 ↗

  18,000★· TypeScript· 可观测与评测

• Arize Phoenix

  LLM 可观测与评测

  Phoenix 提供 LLM 追踪、评估与数据集管理，帮助评估检索与生成质量。

  最新 arize-phoenix-v20.23.0 · 昨天仓库 ↗

  8,000★· Python· 可观测与评测

• giskard-oss

  面向 LLM Agent 的开源评测、红队测试与用例生成库

  Giskard 是一个开源 Python 库，专注于智能体系统的动态多轮测试与评测，提供漏洞扫描、RAG 评估和测试用例自动生成能力。

  最新 giskard-checks/v1.0.6 · 10 月 9 日仓库 ↗

  5,850★· Python· 可观测与评测

• LangSmith

  LLM 应用可观测与调试平台

  LangSmith 提供 LLM 链路的追踪、评测与调试，帮助定位 agent 与 RAG 应用的问题。

  最新 v0.14.9 · 2 天前仓库 ↗

  5,000★· Python· 可观测与评测

• akto

  开源的 API 与 AI 安全平台，60 秒即可上手

  Akto 是开源 API 与 AI 安全平台，60 秒即可部署。

  最新 v2.40.0 · 昨天仓库 ↗

  1,524★· Java· 可观测与评测

• ClawProBench

  面向 OpenClaw 运行时的 LLM Agent 实测基准框架

  ClawProBench 是面向 OpenClaw 运行时的 live-first 评测框架。

  暂无版本信息仓库 ↗

  824★· Rust· 可观测与评测

筛出 13 个（共 71 个） · 12 个分类