越狱 PS5 上跑 llama.cpp：原生 GPU 运行任意 GGUF 模型

你的 PS5 运行语言模型。你网络上的每台设备都能使用它。
在主机 GPU 上运行 llama.cpp，支持 OpenAI 和 Anthropic API，还有一块为电视打造的屏幕。

新功能：决策模型，由 Ollaya 驱动。 PS5LM 现在能在 GPU 上运行类 Jev 的决策模型（d1、Clef、OpenJev 等），并响应与 Ollaya 相同的 /v1/systemone API：带校准概率的类型化决策，只需零点几秒。

PS5LM 适合任何拥有已越狱 PS5、想在家里搭建私有模型服务器的人。它把 GGUF 模型加载到主机的 GPU 上，并为你的笔记本电脑、手机和编程工具提供服务。运行时无需 PC、无需云端、无需账号。

_{Qwen 3.5 9B 在 PS5 Slim 上响应来自笔记本电脑的请求。点击观看视频。}

_{电视上的主页、模型、主机、API 和设置。}

你电视下的模型服务器

它在 GPU 上运行。 llama.cpp 的 Vulkan 后端运行在主机的 RDNA 2 GPU 上，使用 11.4 GB 的共享内存来存放模型及其上下文。llama.cpp 支持的所有架构和量化都能使用。
它响应你的网络。 OpenAI 的 /v1/chat/completions、Anthropic 的 /v1/messages（Claude Code 可与之配合）以及任何浏览器中的聊天页面。把客户端指向 http://<console>:8081 并使用任意模型名称：已加载的模型会作出响应。
它也能做决策。 加载一个决策模型，主机就能响应 TypeSafe 的 /v1/systemone：关于文本和图像的选择题、评分题和是非题，也就是 Ollaya 在 PC 上提供的 API。
它会展示工作过程。 每个请求都以聊天形式在电视上流式显示：哪台设备发起的、问了什么，以及回复的实时书写过程。方块键发送演示，三角键打开键盘，因此可以坐在沙发上试用主机。
它监控主机状态。 主机页面用图表展示过去两分钟或过去一小时的温度、功耗、GPU 和 CPU 负载，旁边还有一张包含所有读数的表格。
它会挑选合适的配置。 规划器会读取每个 GGUF，并根据空闲内存为其分配最长的上下文和最佳的缓存配置。建议列表收录了在主机上实测过的模型，应用会自行从 Hugging Face 下载，存到内置存储、M.2 硬盘或 USB 硬盘。
它能读取图像。 带有图像投影器的模型（Gemma 4、MiniCPM-V、d1）可以在聊天和决策中接收图片。

模型	大小	在 PS5 Slim 上
Qwen 3.5 0.8B, Q4_K_M	0.5 GB	每秒 207 个 token
Qwen 3.5 9B, Q4_K_M	5.3 GB	每秒 55 个 token
Qwen 3.8 27B, UD-Q2_K_XL	9.2 GB	约每秒 20 个 token，64k 上下文
d1 Omni 600M，一个决策模型	1.1 GB	0.3 秒回答 3 个问题；一张 720p 图像和 7 个问题用时 2.9 秒

决策模型，由 Ollaya 驱动

Ollaya 在 PC 上运行开放式决策模型，就像 Ollama 运行语言模型一样。PS5LM 把同样的理念带到主机上：决策模型读取一个状态，在一次前向传播中回答类型化问题，不生成任何文本。

curl http://<console>:8081/v1/systemone -H 'Content-Type: application/json' -d '{
  "state": "I was charged twice this month. Refund me or I cancel.",
  "questions": {
    "intent": {"type": "choice", "instructions": "What does the customer want?",
               "criteria": {"refund": null, "information": null, "cancel": null}},
    "angry":  {"type": "noul", "instructions": "Is the customer angry?"}
  }
}'

建议列表中有 d1 Omni 600M、d1 3B 和 Clef Flash。任何带有 llama.cpp 决策元数据的 GGUF 都能以相同方式加载，应用会将其标记为决策模型。

试一试

你需要一台固件版本为 7.00 到 13.60 的已越狱 PS5，并加载以下 payload：

Payload	用途
kstuff-lite	自制程序运行所需的内核补丁	必需
etaHEN	homebrew 支持	必需
ShadowMountPlus	通过 `/data/homebrew` 将 PS5LM 放到主屏幕上	必需
elfldr（端口 9021）	温度、功耗和实际可用空间，通过 ps5-exporter	推荐
ftpsrv（端口 2121）	安装应用、从 PC 复制模型	推荐

从最新版本下载 ps5lm-app-vX.Y.Z.zip 并解压。
通过 FTP 将 PPSA99575 文件夹复制到 /data/homebrew。ShadowMountPlus 会将 PS5LM 添加到主屏幕。
打开 PS5LM，进入 Models > Suggested 并获取一个模型。或者将 .gguf 复制到 /data/PS5LM/models，或复制到 USB 驱动器上的 PS5LM/models。
加载它。一旦 Home 显示 Ready，在浏览器中打开 http://<console>:8081，或将你的 OpenAI 或 Anthropic 客户端指向它。

要更新，请将新文件夹覆盖到旧文件夹上。设置、模型和下载内容保留在 /data/PS5LM 中。从编码工具（opencode、Codex、Claude Code）使用它的方法见 docs/CLI.md。

位置	按钮	功能
全局	L1 / R1	Home、Models、API、Console、Settings
Home	Cross	切换模型
Home	Square / Triangle	发送演示请求 / 输入消息
Models	方向键、Cross	选择分区和模型；加载、卸载或下载它
Models、Search	L2 / R2、Square	切换搜索；检查文件是否放得下
Models、Downloads	Cross、Square	暂停或恢复；取消（按两次）或清除
Console	L2 / R2	最近两分钟 / 最近一小时
Settings	方向键、Cross	选择类别和行；切换它，或从其列表中选择
Settings、Diagnostics	Square、Triangle	应用或服务器日志；仅错误

想动手折腾？

在 ps5-homebrew-ui 上使用 C++，在 PS5_Vulkan 的 RADV 上使用带 ggml-vulkan 的 llama.cpp，在 Linux 上构建。

构建 · 主机说明 · 移植 · 研究 · 适配的模型 · 路线图 · 更新日志 · 原始 payload

致谢

abhi245y，他构建了本项目所源自的原生 GPU 应用（PS5LM Plus）。
llama.cpp 和 ggml，它们完成了实际工作。
Mihawk-99 为 PS5 上的 PS5_Vulkan 和 RADV，以及 PS5CEMU-HAR 为 patches/mesa 中的驱动补丁。
BlackBearReloaded 为 ps5-homebrew-ui、ps5-opengl 和 ps5-homebrew-dev-protocol，以及 John Törnblom 为 SDK。
Marice 为 ps5-exporter，本应用内置了它。
Manrope（OFL）为字体，以及 PocketVibe 为界面音效。

GPL-3.0-or-later，见 LICENSE。llama.cpp 保留其 MIT 许可证，Manrope 保留其 OFL。本仓库中不包含任何 Sony SDK 文件、密钥、固件或模型权重。

PS5LM 与 Sony Interactive Entertainment 无关联。“PlayStation”和“PS5”是 Sony Interactive Entertainment 的商标。