工具箱

• Ollama

  本地运行大模型

  Ollama 让本地运行与使用大模型变得简单，一条命令拉取并运行开源模型。

  最新 v0.40.5 · 3 天前仓库 ↗

  150,000★· Go· 推理与部署

• netdata

  面向全栈基础设施的实时可观测性监控平台

  Netdata 是一款高性能的实时可观测性平台，以秒级粒度采集并可视化服务器、容器、数据库和应用的全栈指标，内置 AI 辅助的异常检测与告警。

  最新 v2.12.1 · 10 月 8 日仓库 ↗

  80,777★· Go· 可观测与评测

• OmniRoute

  免费 MIT AI 网关，一个端点接入 359 家模型服务商

  OmniRoute 是免费 MIT 开源的 AI 网关：把 Claude Code、Cursor、Cline、Copilot 等客户端统一接入 359 家服务商、1200+ 模型，支持配额感知自动降级与 19 种路由策略。

  最新 v3.8.51 · 9 月 30 日仓库 ↗

  72,167★· TypeScript· 推理与部署

• Lobe Chat

  开源 AI 聊天框架

  Lobe Chat 是现代化开源聊天框架，支持多模型、插件与知识库，可一键部署成个人或团队 AI 助手。

  暂无版本信息仓库 ↗

  70,000★· TypeScript· AI 产品

• vLLM

  高吞吐 LLM 推理引擎

  vLLM 是高性能的 LLM 推理与服务引擎，PagedAttention 大幅提升吞吐，适合生产部署。

  最新 v0.31.0 · 10 月 5 日仓库 ↗

  60,000★· Python· 推理与部署

• AnythingLLM

  全功能开源 AI 应用

  AnythingLLM 把文档、向量库与任意 LLM 接起来，构建企业知识库与 RAG 应用，开箱即用。

  最新 v1.18.0 · 4 天前仓库 ↗

  60,000★· JavaScript· AI 产品

• Langfuse

  开源 LLM 可观测平台

  Langfuse 是开源的 LLM 可观测与评测平台，支持追踪、成本分析与用户反馈闭环。

  最新 v4.63.0 · 昨天仓库 ↗

  18,000★· TypeScript· 可观测与评测

• Arize Phoenix

  LLM 可观测与评测

  Phoenix 提供 LLM 追踪、评估与数据集管理，帮助评估检索与生成质量。

  最新 arize-phoenix-v20.23.0 · 昨天仓库 ↗

  8,000★· Python· 可观测与评测

• giskard-oss

  面向 LLM Agent 的开源评测、红队测试与用例生成库

  Giskard 是一个开源 Python 库，专注于智能体系统的动态多轮测试与评测，提供漏洞扫描、RAG 评估和测试用例自动生成能力。

  最新 giskard-checks/v1.0.6 · 10 月 9 日仓库 ↗

  5,850★· Python· 可观测与评测

• LangSmith

  LLM 应用可观测与调试平台

  LangSmith 提供 LLM 链路的追踪、评测与调试，帮助定位 agent 与 RAG 应用的问题。

  最新 v0.14.9 · 2 天前仓库 ↗

  5,000★· Python· 可观测与评测

• akto

  开源的 API 与 AI 安全平台，60 秒即可上手

  Akto 是开源 API 与 AI 安全平台，60 秒即可部署。

  最新 v2.40.0 · 昨天仓库 ↗

  1,524★· Java· 可观测与评测

• ClawProBench

  面向 OpenClaw 运行时的 LLM Agent 实测基准框架

  ClawProBench 是面向 OpenClaw 运行时的 live-first 评测框架。

  暂无版本信息仓库 ↗

  824★· Rust· 可观测与评测

筛出 12 个（共 71 个） · 12 个分类