Hacker News· deadprogram·· 8 天前AI 评分28
Jeyzma:用 Go/TinyGo 在浏览器里跑 llama.cpp 的 TypeSafeAI 替代品
Jeyzma is TypeSafeAI minus $850M plus Go/TinyGo/llama.cpp in the browser
AI 导读
Jeyzma 是 TypeSafeAI 的替代方案,用 Go 编写、经 TinyGo 编译为 WebAssembly,在浏览器中 100% 本地运行 System One 模型推理,无需服务器、API key,数据不外传。模型针对状态回答带类型的问题,为每个选项输出概率而非生成文本,支持 Choice、Score、Noul 等题型,有 WebGPU 时用 GPU,否则回退 CPU。
正文 · AI 翻译
浏览器中的 System One
去做个决定吧!使用 Go 编写的 WebAssembly,在浏览器中 100% 本地运行 System One 模型。
System One 模型针对某个状态回答输入的问题。它为每个选项给出一个概率,而不是写出答案。 本页面使用经 TinyGo 编译的 yzma 在浏览器中完成全部推理。没有服务器,没有 API 密钥,数据也不会发送到任何地方。
问题类型
| 类型 | 问题 | 答案空间 | 示例输出 |
|---|---|---|---|
| 选择 | 哪个团队负责这个? | billing, technical, sales | billing |
| 评分 | 这件事有多紧急? | low, medium, high | high |
| Noul | 客户很生气。 | true, false | true |
可用时使用 WebGPU 调用 GPU,否则使用 CPU。
正在寻找后端
模型
正在启动
答案
来源:Hacker News · jeyzma.com