PostHog 实践:并非所有任务都需要 LLM
Not Everything Needs an LLM
PostHog 分享了在生产中使用决策模型(如 Jev)替代部分 LLM 调用的经验,称决策模型比前沿模型便宜最多 444.6 倍、快 193.6 倍。在 Replay Vision 的 PII 清洗流程中,两道是非题让 98.7% 的会话摘要跳过 Gemini 调用;Slack 机器人则用选择题把请求路由到最便宜的可用模型。作者强调阈值需按任务和模型分别设定,多步推理仍应交给 LLM。
LLM 就爱废话连篇。问个简单问题,它能给你扯上几百字的“视情况而定”。烦得要命。
这就是为什么对于更简单的任务,我们喜欢用 Jev 这样的决策模型。你提出一个结构化的问题,就能得到一个带概率的类型化答案,大概长这样:
Noul。刺猬是哺乳动物吗?→ 是,0.99
Choice。刺猬属于哪个动物科?→ 哺乳动物,0.99
Score。刺猬目前的保护状况如何?→ 无危,0.77
LLM 返回的是自由发挥、过度自信的长篇大论,而决策模型则把模型的不确定性明确表达出来。在一个经过校准的模型中,得分为 0.8 的答案大约有 80% 的概率是正确的。这意味着 0.5 分就等于抛硬币。
我们一直在 PostHog 试验这类模型,已经有几个用例投入了生产环境。以下是我们迄今为止关于使用决策模型学到的一切:何时使用、如何使用,以及要避免哪些错误。
决策模型比前沿模型便宜多达 444.6 倍、快 193.6 倍,1所以你可以用它们来检查自己到底需不需要发起一次昂贵的 LLM 调用。
我们在 Replay Vision 的一条流水线中这样做,用于清除个人信息。Replay Vision 是我们的产品,能为你观看并总结用户会话录像。它的工作方式如下:
每条会话摘要都要经过决策模型提出的 2 个是/否问题。使用这样范围狭窄的问题,能把误报减少到单个问题所产生的约十分之一。
1.“这里是否提到了真实的人名?”
2.“这里是否显示了联系方式或身份证件?”
如果任一问题的得分达到 0.4 或以上,Gemini 就会在不含个人信息的情况下重写摘要,然后再次接受检查。
否则,它就是干净的,可以通过这道关卡。在生产环境中,98.7% 的摘要完全跳过了 LLM 调用。
如果没有决策模型,我们就得不断折腾那些会漏掉内容的提示词和正则表达式,或者把每条摘要都发给 Gemini,只为抓住那 1% 需要处理的。
概率得分为 0.85 仍然意味着每 1,000 次检查中约有 150 个错误答案,所以要提前为误报和漏报做好规划。
在 PII 这个例子中,误报只会让我们多花一次 LLM 调用,而漏报则会把个人数据当作干净数据存储下来。这就是我们把阈值设得很低、定为 0.4 的原因。
当误报是代价更高的错误时,就使用更高的阈值。例如,我们最近更新了 PostHog in Slack 机器人,让它无需被 @ 也能回答问题。为了避免惹人烦,它会检查频道里的每条消息,看 (1) 它是否在索取信息,以及 (2) PostHog 能否回答它。只有两项得分都在 0.85 以上的消息才会被放行。
要点:用决策模型在任务进入昂贵的 LLM 调用之前进行筛选,并根据哪种错误代价更高来设定阈值。
我们的 PostHog in Slack 机器人还把决策模型用作模型路由器。
当机器人被 @ 时,它首先检查消息是否要求使用特定模型。如果没有,就用一个 choice 问题从列表中挑选:
“选择最便宜、最有可能在第一次尝试时就正确完成任务的选项。一次失败的运行比一个更聪明的选项代价更高。”
列表中的每个选项都附有一句简短说明,介绍该模型擅长什么。GPT Luna 被描述为“一个轻量且非常便宜的模型。适合简短回答、查询、摘要和非常小的编辑。”然后,决策模型会根据每个选项的文本对请求进行评分。
不同的任务、模型和提供商都有不同的阈值。
我们曾尝试用它们来自动合并 Error Tracking 中的相似日志,结果发现同一模型的 v1 和 v2 版本之间阈值会发生变化。我们不得不让阈值可以按 PostHog 项目进行配置,并在根据人工标注数据重新校准期间让评判器保持影子模式。
这也是我们增长团队的 Fernando 早期推动模型无关接口的原因之一。我们现在有一个内部 AI 网关,用于切换和测试模型,包括自托管模型。
要点:使用一个
choice问题,将自由形式的 LLM 请求路由到能够处理它的最便宜模型。请记住,阈值不会通用,因此要按任务和按模型分别设置。
如果一个问题需要更多上下文或推理链,最好使用 LLM。不过,如果你有办法将输入扁平化或预处理,使其可以按表面值进行检查,你仍然可以使用决策模型。
在 Replay Vision 中,当用户搜索诸如“onboarding friction”之类的主题时,由于嵌入距离的工作方式,查询有可能返回一些意外结果。
决策模型无法“对包含与用户搜索查询匹配的摘要的前 10 个会话进行排名”。这太复杂了。
相反,我们首先使用嵌入来得出一个初始的会话录制列表,再将其传递给决策模型。然后,决策模型剩下的唯一任务就是查看列表中每个结果与用户原始搜索词的匹配程度:
“这个摘要描述的会话是否与搜索要找的内容匹配?”
然后按该概率对结果进行重新排序。在 20 个测试查询上,这使排名质量提高了约 25%。
我们之前尝试过使用决策模型进行多步推理。在 Replay Vision 中的嵌入功能准备好之前,我们尝试对一个“Highlights”信息流进行排名,该信息流包含值得人类花时间观看的会话。问题是:
这个会话值得观看吗?
如果值得,为什么值得观看?(选项包括“屏幕上出现错误”、“缓慢或卡住”、“用户困惑”、“用户放弃”等。)
按顺序处理这两个问题需要一个每小时运行一次的任务,该任务会发送大型请求——最多 32 个会话,每个 12-38k 个 token——这会使模型服务器不堪重负,并阻塞其他产品的调用长达数小时。
所以,是的,从技术上讲,你可以将决策模型串联起来进行多步判断,但这在运营上不值得。把这件事留给 LLM,或者在决策模型看到数据之前完成繁重的工作,就像上面的嵌入搜索示例那样。
要点:决策模型在一次处理中判断眼前的内容。将多步推理留给 LLM。
决策模型可以承担任何对 LLM 来说过于繁重的任务,无论是因为它太慢还是太贵。
其中一个例子是我们用于 SQL 查询的更智能的图表选择器。PostHog 过去使用确定性规则来选择可视化方式,例如:
日期列、数字列和多行 → 折线图
两个或更多文本列加一个数字 → 热力图
任意数字列 → 柱状图
现在,如果你的组织选择启用,决策模型会同时查看 SQL 本身以及结果的前三行,以建议更合适的图表。
下面的示例基于一个关于按浏览器统计页面浏览量的简单查询。原始规则选择了一个基本的聚合折线图;而使用 Jev 时,它选择了一个按浏览器拆分的柱状图:
任何更开放性的问题仍然应该交给 LLM。
不过,出于好奇,我们尝试用 Jev 来对内部 PR 审查代理的发现进行排序,使用了五个大致询问该变更是否值得开发者关注的问题。结果不确定,AUC 为 0.52。
如果 Jev 是 LLM,我们会通过发送更多上下文来解决这个问题,但 Jev 无法处理大型请求。它的长上下文模式也更慢且不够准确。2 典型的决策模型并不是为这类推理而构建的。
不过,像 Jeeves 这样的混合决策模型可以帮助弥合这一差距。Jeeves 由我们的 内部 AI 研究团队 开发,是一种在不确定时先推理再做出决定的决策模型。
它现在是我们 PostHog 中任何未指定模型的决策调用的默认选择,其他开发者也有类似的变体,比如 Kev。
要点: 将决策模型用作评估器,适用于对语言模型来说太简单、但对正则表达式来说又太模糊的输入。任何更复杂的内容仍然不适合交给决策模型。至少目前如此。
本文由 Jina Yoon 撰写,她预计这篇文章将在两个月内过时。
人们在 PostHog AI 中提示什么 – Cleo Lant
软件背后的某个人 – Karri Saarinen
为什么我们要将仓库产品从 DuckDB 迁移出去 – Benjamin Knofe-Vider
睡眠框架:LLM 在持续学习中保留知识的新方法 – Ali Behrouz, Vahab Mirrokni
我们通过预计算将实验查询速度提高了 4 倍 – Juraj Majerik
Jev 默认每次请求使用 64k token,每个问题使用 32k token。尽管 TypeSafe 添加了一个可选启用的请求头,将两者都提高到 262k,他们仍然警告说长上下文模式更慢且不够准确。来源:TypeSafe 文档
来源:Hacker News · newsletter.posthog.com