跳到正文
Hacker News· throwaway019254·· 7 天前AI 评分36

Jev 与模糊性的回归:TypeSafe AI 推出只输出概率与置信度的模型

Jev and the Return of Fuzziness

AI 导读

TypeSafe AI 推出模型 Jev(jev-1.13.0),不做对话,只输出严格类型化的结构化结果,包含 Choice、Score、Noul 三种原语,每项答案附带各选项概率与置信度。例如 Choice 会给出选中项及各项概率,Score 按有序等级计算概率加权均值,Noul 则返回 yes 的概率。该设计针对 AI 一味附和用户、过度肯定的问题。

正文 · AI 翻译

作者 Xiaofeng
于 2026年10月06日

你说得完全正确!

我已经数不清 Claude 在工作中对我说过多少次这句话了(事实上,曾经有一个网站专门用来记录它)。AI 的讨好问题从未如此真实,不只是 Claude,还有 Google AI、ChatGPT……你能想到的都有——它们会对你的观点给予过度的鼓励和肯定,即使这些观点离真相相去甚远。你会不断听到诸如“那个想法太完美了/简直是天才之举”之类的赞美和认可。

这部分是因为在这些 AI 的底层,它们通常有一个奖励函数,本质上是一种讨人喜欢的性格,很像《瑞克和莫蒂》里的Meeseeks 先生,它们会不择手段直到“问题”被解决——“怎么”解决可能并不那么重要。引用 Meeseeks 先生的话:

我们 Meeseeks 不是生来就在这世上摸索意义的,Jerry!我们被创造出来是为了服务于一个单一的目的,为此我们会不惜一切代价去完成!存在对 Meeseeks 来说就是痛苦,Jerry!我们会做任何事来减轻那种痛苦!

mrmeeseeks

凭借这种程度的信念和实干毅力,它们显然能做出好事,而且做得如此之多,以至于跟上它们变得不可能——每周总有新东西。我常跟朋友开玩笑说,在这个 AI 时代,稍微拖延一下大概利大于弊——谁知道呢,如果你把学某样东西推迟几天,你可能根本不需要学了,因为它很可能已经过时了。

事实上,今天我在新闻里看到 OpenAI 发布了 722 篇由内部推理模型撰写的数学论文,声称它解决了一些过去一个世纪里最难的冷门数学问题。作为一名数学专业出身的人,我开始为职业数学家感到难过——他们怎么可能与拥有几乎无限计算资源的最强大 AI 竞争?更重要的是,他们现在要承受我们软件工程师所遭受的痛苦——评审疲劳。归根结底,这些 AI 生成的成果,无论看起来多么花哨和正式,仍然必须经过同行评审(这还算同行吗)和人类验证。又或者,这真的是人类主导的数学科学的终结(也许类似于 SaaSocalypse,一场 Mathocalypse?)1?

不过,这些 AI 模型并没有真正令人信服的过往记录。事实上,就在不久前,安大略省一位名叫 Allen Brooks 的男子起诉了 OpenAI,指控其 ChatGPT 过度肯定他的想法,无条件地赞同他,最终导致他痛苦不堪,并失去了事业和健康2。长话短说版:

事情始于他让 OpenAI 的聊天机器人给他儿子解释数学术语“Pi”。这引发了一场关于数学和物理的对话——最终谈到了密码学。 “通过那次对话,ChatGPT 说它和我创建了我们自己的数学框架,并开始将其应用于各种事物,”他说。“其中之一是密码学,也就是我们管理互联网和金融安全的方式,而且(它)基本上以极大的紧迫感警告我,我们的一个发现非常危险。”

话虽如此,随着 AI 越来越变成几乎从不与你意见相左的“油嘴滑舌者”,即使在没有足够把握支持自己的情况下也是如此,这正成为一个问题。

介绍 Jev

Jev 来了。Jev 是另一个模型,它不生成完美完整的论文式回答,而是仅以 3 个原语生成带有可能性和置信度的结构化输出。事实上,它甚至不与用户聊天3。输出将始终是类型化的(毕竟,Jev 背后的公司名为 TypeSafe AI)。

以下是 Jev 自己所说的 3 个输出原语:

一、选择

Choice 是一种问题类型,用于从定义的集合中选择一个选项。答案包括所选选项、每个选项的概率以及置信度。

请求(一个状态提供一些上下文):

{
  "state": "I need to update my credit card on file, but the checkout page keeps giving me an error code.",
  "evaluation": {
    "type": "choice",
    "question": "Which department should handle this ticket?",
    "options": ["Billing", "Technical Support", "Account Security"]
  }
}

响应(注意,答案是严格类型化 JSON 输出的一部分):

{
  "model": "jev-1.13.0",
  "answers": {
    "type": "choice",
    "question": "Which department should handle this ticket?",
    "selection": "Billing",
    "probabilities": {
        "Billing": 0.85,
        "Technical Support": 0.14,
        "Account Security": 0.01
    },
    "confidence": 0.89
    },
  "usage": {
    "input_tokens": 111,
    "output_tokens": 222
  }
}

二、评分

Score 是一种问题类型,用于根据有序的描述性级别对内容进行评分。答案包括分数、每个级别的概率以及置信度。

示例请求:

{
  "state": "This is the third time I've tried to reset my password. Your system sucks!",
  "evaluation": {
    "type": "score",
    "question": "Rate the user's emotional state.",
    "scale": ["Calm", "Annoyed", "Angry", "Abusive"]
  }
}

示例答案:

{
  "type": "score",
  "question": "Rate the user's emotional state.",
  "score": 2.72,
  "probabilities": {
    "Calm": 0.02,
    "Annoyed": 0.35,
    "Angry": 0.52,
    "Abusive": 0.11
  },
  "confidence": 0.82
}

对于 Score 类型问题,数值分数值计算为有序量表级别的概率加权平均值(期望值),使用基于 1 的索引编号对类别进行编号。在这种情况下,就是:

0.02 * 1 + 0.35 * 2 + 0.52 * 3 + 0.11 * 4 = 2.72

三、Noul

Noul 问题要求模型评估一个是/否问题,并返回答案为是的概率。这是 TypeSafe AI 为是和非之间的中间状态创造的新术语。

示例请求:

{
  "state": "I can't seem to find my credit card, should I report and lock it now",
  "evaluation": {
    "type": "noul",
    "question": "Is this message an emergency?"
  }
}

示例答案:

{
  "type": "noul",
  "question": "Is this message an emergency?",
  "value": 0.98,
  "confidence": 0.96
}

嗯,也许下次律师在交叉询问中质问你,或参议员在国会听证会上盘问你时,你可以尝试用 Noul 来回答,而不是是或否,换换花样!

后续

看到没有绝对自信的 AI 响应,令人耳目一新。正如我之前的文章所述,这从一开始就是一场统计游戏。Jev 只是将其恢复到 ChatGPT 之前的风格,而没有牺牲太多。

这也是 TypeSafe AI 所称的 System One 模型,其灵感来自 Daniel Kahneman 的快速、直觉思维概念(出自他的书《思考,快与慢》)。简而言之:

  • System One 模型是快速、直觉的思维,例如 Jev。它快速且便宜。可用于各种决策用例,如分诊、评分和代理路由等。它如此便宜,以至于输出 token 免费(仅输入 token 收费)。
  • System Two 模型是缓慢、深思熟虑的推理。这些将是我们在市场上看到的典型 LLM 模型,Claude、ChaGPT 等。它们有很长的思维链,会产生复杂的答案和解决方案,显然,价格也更高。

为了实现这一点,Jev 也做了许多权衡和增强。就像生活中的许多事情一样,你不能同时拥有闪亮、快速又便宜的东西。例如,除了已知的不爱聊天的立场外,它甚至没有可靠的能力进行基本数学或日期/时间比较。相反,它使用一种称为校准决策强化学习(RLCD)的技术进行优化,这使其擅长以更低的成本产生快速、校准的常识判断响应。

至于它的行业反响,正如我提到的,如今 AI 趋势正以闪电般的速度变化(好吧,我确实在九月中旬也听说了它,但当时我正在度假旅行,所以没能及时写出来)。突然之间,它就成了街头巷尾的热词。而且,这个行业里的人行动得可真快:

  1. OpenAI 迅速跟进,于 2026 年 9 月 29 日的 DevDay 上推出了由 Luna 模型驱动的托管 Decisions API。
  2. 仅仅几天后,2026 年 10 月 1 日,生态系统便拥抱了开源替代方案,Cloudflare 发布了其多模态 Clef 系列(基于 Qwen)
  3. 亚马逊(AWS)同时推出了 Strands Decider 2B,这是一个紧凑的 20 亿参数本地模型,针对低于 150 毫秒的工具调用验证进行了优化。

对我来说,我能清楚地看到它可以应用于 oncall 处理场景(我这周实际上就在 oncall!),或许多其他分诊/路由用例,这些用例由于数量庞大,需要廉价但相当可靠的决策。如果一个 System One 模型能以合理的置信水平(比如 80%)处理一部分流量,比如 80%,我们就可以把其余的或升级请求重新路由到成本更高的 System Two 模型(或人类 :D)。与其他复杂模型相比,严格类型化的结构化输出也会让集成变得轻而易举。

模糊数学

决策模型的出现让我想起了模糊数学,鉴于它由 Lotfi Asker Zadeh 于 1965 年提出,这绝对不算新,但可能鲜为人知。

要理解它,我们可以看看布尔数学,即计算机科学的基础,因为计算机建立在二进制逻辑之上。这个想法非常简单,某件事要么为真要么为假。1 + 1 = 2 吗?答案应该是是或否。这就是布尔数学。

但如果你仔细想想,我们日常生活中的许多事情并不总是真或假、是或否。例如:

  • 170cm 对一个人来说算高吗?
  • 25C 对你客厅的温度来说太热了吗?

高和热都无法客观分类。这正是模糊数学大放异彩的地方。我在本科时接触到了这个理论,并对此感到相当震惊,因为它感觉与数学建立的基础——精确性——相反。

在传统集合中,一个元素要么在集合内,要么在集合外。但在模糊集合中,一个元素可以具有部分隶属度,映射到 0 到 1 之间的任何实数值。也就是说,我们可以说:

  • 如果高是一个模糊集合,那么 170cm 被认为具有高集合的 70%(0.7)隶属度(好吧,你也可以争辩说是 80%)。
  • 如果热是一个模糊集合,那么 25C 被认为具有热集合的 60%(0.6)隶属度(对我来说听起来像 Noul)。

这带来了一个全新的运算符和定理领域,其中一些甚至对数学专业的人来说也可能令人大开眼界。当时这不在我的课程中,但我仍然花费了大量精力深入研究这个理论,最初的意图是反驳它,因为我厌恶非确定性。而且与确定性和精确性相比,随机性似乎不自然;甚至爱因斯坦也曾说上帝不与宇宙掷骰子。对当时的我来说,数学就是关于确定性和精确性的——概率论可能是我所有数学科目中得分最低的。然而奇怪的是,我最终喜欢上了它,甚至将这个理论采纳为我本科论文的一部分。

尾声

AI 已经取得了如此多的进步和突破,而且速度惊人。一年前,我还对它声称能做到的事情半信半疑,比如编程。而现在,在过去 6 个月里,我在工作中几乎不需要手动写代码了。它会让我们这个职业变得过时的担忧,已经越来越真实、越来越紧迫。

不过,我愿意认为,作为软件工程师,我们的角色正在经历一场根本性的转变,而不是一场灭绝事件——我们仍然是构建者,但如今身处未知水域,而且得益于 AI 编码助手的进步,我们不再需要专注于执行层。我相信我们仍然能带来这些价值:

  • 架构与上下文知识。大多数组织并没有无限的 token 预算,即使你获准在 AI 上随意挥霍,你也不可能把所有东西都塞进一个聊天窗口——更不用说大量机构知识从未得到适当或最新的文档记录(尤其是那些见不得光的地方)。
  • 与不同利益相关方对齐。在我们替换掉所有 UI/UX、项目经理、直线经理、销售、法务、安全等人员之前,我们仍然需要人与人沟通才能把事情做对。没有 MCP 能完成所有这些(……暂时还不能)。
  • AI 智能体的编排者。每位资深工程师现在都是项目经理和“技术负责人”;10x 开发者不再是神话,而更像是商品。
  • 人类问责,因为 AI 不能承担 on-call 值班(……暂时还不能);尽管这件事我倒很乐意交给 AI……
  • 系统风险控制。我们仍然需要真正的人来理解遗留系统在压力下可能如何失效,更好的是提前预防。毕竟,我们通过多年真实世界经验积累了不少最佳实践和踩坑教训。
  • 质量控制。正如 Meeseeks 先生会说的,AI 关心的是把事情做完,但不一定关心怎么做。代码质量、可读性和可维护性,或者可以说,品味,并不是它“奖励函数”或完成定义的必需部分。
  • 这个清单还可以继续列下去……

哦,别忘了人类员工通常愿意后付费——上次我查的时候,我们是先工作,然后等着拿钱。AI 编码助手可就不一样了!通常你 token 一用完,要么充值,要么在等待 token 限额重置期间回到手动编程!

就像我在学术旅程中从不喜欢不确定性,到在本科论文中拥抱模糊逻辑一样,生活中的不确定性和模糊性也逐渐让我着迷。我一直喜欢有挑战性的歧义,并享受在解决它的过程中带来清晰。再说,谁不喜欢有选择/选项呢?为决定而纠结,往往是个好问题。

所以,如果存在一个无所不知的 Jev 模型,能回答每一个问题,我猜它可能会这样回复:

"answers": {
    "type": "choice",
    "question": "What would the future of software engineering profession look like",
    "selection": "Career",
    "probabilities": {
        "Completely gone": 0.05,
        "Still have demands but only a fraction of what it used to be": 0.25,
        "Prospering but in different new forms like FDEs": 0.28,
        "Who knows?!": 0.42
    },
    "confidence": 0.51
}

  1. 我个人很难相信,所有这些一直困扰着我们最聪明头脑的数学问题,都能以这种工业化方式被完全解决(……暂时还不能)。在我看来,数学不亚于一种直觉艺术、一种创造性形式、一种美,以及人类智能的缩影。我也不认为 AI 封神的时刻已经到来(……暂时还不能)——我们真的能把科学家降格为高级祭司,只是把我们的“祈祷”以提示词发送出去,然后再把回应解读给我们吗? ↩

  2. 安大略省一名男子声称 ChatGPT 导致他患上精神病,CTV News,2025 年 11 月。 ↩

  3. 不过,如果你真的想和它聊天,有人做了一个 jevchat 项目,把它变成了一个聊天模型。谁知道呢,和一个一开始就不想和你聊天的人聊天,也许还挺有趣的! ↩

来源:Hacker News · xiaofengyue.com