跳到正文
Hacker News· kol3x·· 10 天前AI 评分22

开源项目 Dear LLM:用日记与话题双层上下文解决 LLM 泛泛而谈

Dear LLM, or how I stopped getting generic advice

AI 导读

开发者开源了自托管应用 Dear LLM,通过"日记 + 话题"两层结构为对话提供个人上下文:每晚对话内容先提炼进话题摘要,再进一步提炼进日记,新对话自动带上这两层摘要。应用开源且自托管,数据库由用户自己掌握,LLM 调用仍走 CF Workers AI、OpenRouter 等外部服务。作者已用它进行约一百次对话,目前正在开发 v2 前端,计划加入 demo、简化部署和教程。

正文 · AI 翻译

LLM 热爱上下文(废话)

LLM 社区的一条公理是:你提供给模型的上下文越相关,回复就越有用。当涉及到你的工作项目时,解决方案很简单——文档,文档,文档。但标准的聊天界面呢?正是它让 LLM 最初流行起来:我们第一次打开 ChatGPT 就开始玩,问它永恒的问题之类的。如今,我们大多把它当作 Google 搜索的替代品。任何日常问题都往那里扔,它在这方面依然完美。

亲爱的 LLM

还有一类值得写进日记的问题,我们中有些人会带着它们去找 LLM,例如:“我怎样才能戒掉坏习惯 X?”“我丢了工作,怎么找新的?”“我怎样才能实现 Y?”如果你曾问过 LLM 类似的问题,回复通常是这样的:“很多人都会经历 X,这里有一些*不太可能帮上忙的一般性建议*”

问题在于——它缺少关于你生活、决策、你常陷入的心理陷阱的上下文。现代聊天有一些记忆系统,你可能会以为这能解决这个问题,但“记忆”里塞满了你随手“谷歌”的无关紧要的东西,而这才是 LLM 聊天更常见的用途。

除此之外,作为一个注重隐私的人,我个人不喜欢把我所有的生活上下文都倒进一个 ChatGPT 聊天里,不管它在他们的服务器上是否安全。和别人聊起这些更敏感的 LLM 对话时,我注意到一个模式:人们会刻意少提供关于自己的上下文,或者使用无痕模式,或者使用某些承诺匿名的替代聊天界面。

我的会说话的日记

在 2026 年初开始构建解决方案之前,我已经思考这些痛点有一段时间了。当时我还在全职工作,所以只为自己搭了一个粗糙但能用的原型。从那以后,我在那里进行了大约一百次对话,把它打磨了很多,邀请了几位用户,最近终于将其开源。

核心想法简单却强大,也是我从最初原型以来几乎没有改动过的一点。你有两个层级:日记(例如个人)和主题(例如写博客、住在哪个国家、找工作)。你选择一个日记和一个主题,然后开始对话。每晚,你对话中的上下文会被提取到主题摘要中,然后主题摘要中最重要的上下文会被提取到日记中。

每次新对话都会获得相应日记和主题的摘要。这让你可以选择对话背后想要的上下文,而那次对话中浮现的任何新想法,都会在第二天晚上以递减的详细程度,同样地通过主题推入日记。

至于把你全部的生活上下文发送给 ChatGPT——我的应用是开源且自托管的,所以钥匙在你手里,数据库由你掌控,尽管你仍然要把 LLM 调用路由到外部提供商(CF Workers AI、OpenRouter),这是我接受的权衡,直到我们每家每户都有本地 LLM。

下一步迭代

我目前正在开发 v2 前端,我在使用这个应用过程中形成的思维模型将成为 UI 本身的一部分。例如,类别将被称为日记,选择一个将只需一键而不是三键。主题选择将自动化。

目前还存在一个入门门槛:仅仅部署它就要经历多步流程,然后还需要花大量时间通过对话来填充你的上下文,才能感受到核心价值。我计划通过一个演示、简化的部署流程,以及一个用初始上下文为应用播种、让用户熟悉界面的教程来平衡这些问题。

AI 是一个工具

这个会说话的日记已经成为我的日常伙伴,底层用的是哪个模型并不那么重要,重要的是它拥有我的上下文,并且能在我自己之前就发现我已经意识到的东西。例如,我注意到一个反复出现的模式:我在一项技能上过度投入,远远超过了收益递减的临界点,却完全忽略了那些能让我更快前进的互补技能。现在这个应用会尝试将这一模式与我的新条目进行匹配,并在我滑入其中时抓住我。

它是一个总结我的想法、并在我不忠于自己的决定时纠正我的工具。延续我上一篇文章的思路——“让 LLM 不要吃掉我的食物……”,在那篇文章中我谈到让一个编码代理教我 TypeScript,而不是直接把它吐给我——这个会说话的日记并没有替我吃掉我的食物——我带来食材,它为我烹饪!

砰

LLM 有空间被更有意义地使用——首先作为工具。它们不必是生产垃圾的工厂,你只是让它在一个无限循环中复制被窃取的训练数据,而不添加任何有用的输入来使其独特。明智地使用工具,并从中获得最大收益。

来源:Hacker News · kol3x.com