跳到正文
Hacker News· sepokroce·· 8 天前AI 评分22

用 LM Studio 作为 Firefox 聊天机器人

Using LM Studio as a Chatbot in Firefox

AI 导读

开发者发布 Firefox 开源插件 Ask LM Studio,让用户在侧边栏与本地 LM Studio 服务器上的任意已加载 LLM 对话,数据默认不离开本机。插件提供 Summarize、Quiz me、Explain this、Proofread 四项操作,可设置 API Base URL、模型、System prompt 与 Temperature,并支持关闭右键菜单入口。

正文 · AI 翻译

我每天都使用 Firefox 中的聊天机器人功能,尤其是校对。然而,可用的聊天机器人列表无法扩展。事实上,它是一个硬编码的提供商列表,与 Firefox 首选项/企业策略绑定。如果你想保持匿名,并且比如说,尝试使用 LM Studio 作为 Firefox 中的聊天机器人提供商,搭配自定义的本地 LLM,那这就是个大问题。

所以,我想也许我可以为此构建一个附加组件。它必须与 Firefox 核心聊天机器人体验互补,外观和感觉尽可能与其他聊天机器人相似,并基于这类用户界面的所有标准 UI 模式。

隆重推出 Ask LM Studio

Ask LM Studio 是一个 Firefox 附加组件,让你在侧边栏中与本地模型聊天。聊天机器人体验是本地优先的,这意味着除非你在外部主机上运行 LM Studio 服务器,否则不会有数据离开你的机器。默认情况下,该附加组件使用你本地的 LM Studio 服务器,并可与任何已加载的 LLM 配合使用。它提供与内置聊天机器人相同的四个基本操作,即:

  • 总结
  • 考考我
  • 解释一下
  • 校对

只需选择你要处理的文本,或右键点击你所在的页面,然后选择一个操作。

该附加组件非常轻量,尽管我想把所有配置选项都放在 Firefox 之外,但仍有一些附加组件设置可用,例如:

  • LM Studio API 的基础 URL
  • 首选聊天机器人模型
  • 系统提示词
  • 温度

另外,如果你不需要右键菜单中的“Ask LM Studio”,你可以直接切换相关设置。

该附加组件是开源的,可在 GitHub 上获取。如果你对其机制感到好奇,请务必查看源代码。

我将来可能会添加一些额外的操作,所以如果你有任何具体的想法或请求,请告诉我。

来源:Hacker News · gocemitevski.com