Olla 发布 LLM 代理与负载均衡器
热点事件持续更新
Olla 发布 LLM 代理与负载均衡器
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
thushan 发布 Olla，一款面向自托管 LLM 推理节点的高性能低延迟代理与负载均衡器，支持按优先级路由、自动故障转移和连接重试，并提供 KV-cache 感知的粘性会话，将多轮对话固定到同一后端。 Olla 以单 CLI 应用和配置文件运行，内存占用低于 50Mb，端点选择达亚毫秒级，内置只读管理仪表盘，并包含 Sherpa 与 Olla 双代理引擎。据其说明，管理仪表盘默认开启且仅限本机回环访问；Anthropic Messages API 支持（v0.0.20+）默认启用；用 go install 方式安装则不会附带前端。
AI 根据报道生成 · 57 分钟前更新
最新进展10月27日 16:09
Olla：面向 LLM 推理基础设施的高性能代理与负载均衡器报道时间线
沿着报道，了解事件的不同侧面。
10月27日
- GitHubOlla：面向 LLM 推理基础设施的高性能代理与负载均衡器
Olla 是面向自托管 LLM 推理节点的高性能低延迟代理与负载均衡器，支持按优先级路由、自动故障转移和连接重试。它提供 KV-cache 感知的粘性会话，可将多轮对话固定到同一后端，并内置 Sherpa 与 Olla 双代理引擎。Olla 以单 CLI 应用和配置文件运行，内存占用低于 50Mb，端点选择达亚毫秒级，并内置只读管理仪表盘。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。