跳到正文
Hacker News· deadprogram·· 8 天前AI 评分28

Jeyzma:用 Go/TinyGo 在浏览器里跑 llama.cpp 的 TypeSafeAI 替代品

Jeyzma is TypeSafeAI minus $850M plus Go/TinyGo/llama.cpp in the browser

AI 导读

Jeyzma 是 TypeSafeAI 的替代方案,用 Go 编写、经 TinyGo 编译为 WebAssembly,在浏览器中 100% 本地运行 System One 模型推理,无需服务器、API key,数据不外传。模型针对状态回答带类型的问题,为每个选项输出概率而非生成文本,支持 Choice、Score、Noul 等题型,有 WebGPU 时用 GPU,否则回退 CPU。

正文 · AI 翻译

浏览器中的 System One

去做个决定吧!使用 Go 编写的 WebAssembly,在浏览器中 100% 本地运行 System One 模型。

System One 模型针对某个状态回答输入的问题。它为每个选项给出一个概率,而不是写出答案。 本页面使用经 TinyGo 编译的 yzma 在浏览器中完成全部推理。没有服务器,没有 API 密钥,数据也不会发送到任何地方。

问题类型

类型问题答案空间示例输出
选择哪个团队负责这个?billing, technical, salesbilling
评分这件事有多紧急?low, medium, highhigh
Noul客户很生气。true, falsetrue

可用时使用 WebGPU 调用 GPU,否则使用 CPU。

正在寻找后端

模型

正在启动

答案

来源:Hacker News · jeyzma.com