跳到正文
热点事件持续更新

PostHog 用决策模型替代部分 LLM 调用

1 篇报道1 个报道来源6 小时前更新

先了解这件事

AI 综述

PostHog 分享了在生产中用决策模型(如 Jev)替代部分 LLM 调用的经验,称决策模型比前沿模型便宜最多 444.6 倍、快 193.6 倍。在 Replay Vision 的 PII 清洗流程中,两道是非题让 98.7% 的会话摘要跳过 Gemini 调用;Slack 机器人则用选择题把请求路由到最便宜的可用模型。 PostHog 称,PII 清洗中若任一评分达到 0.4 及以上,Gemini 会重写摘要去除个人信息并再次检查;只有两项均达到 0.85 以上的消息才放行。Jev 默认每次请求 64k token、每个问题 32k token。 作者强调阈值需按任务和模型分别设定,多步推理仍应交给 LLM。

AI 根据报道生成 · 13 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月18日
  1. Hacker News
    PostHog 实践:并非所有任务都需要 LLM

    PostHog 分享了在生产中使用决策模型(如 Jev)替代部分 LLM 调用的经验,称决策模型比前沿模型便宜最多 444.6 倍、快 193.6 倍。在 Replay Vision 的 PII 清洗流程中,两道是非题让 98.7% 的会话摘要跳过 Gemini 调用;Slack 机器人则用选择题把请求路由到最便宜的可用模型。作者强调阈值需按任务和模型分别设定,多步推理仍应交给 LLM。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。