跳到正文
Hacker News· flail·· 7 小时前AI 评分34

Jev 的兴衰:一场 AI 炒作周期的解剖

The Rise and Fall of Jev

AI 导读

发布 33 天的通用分类器 Jev 在经历爆红后迅速退潮,其炒作周期已终结但产品仍在被部分公司使用。Jev 号称"决策模型"、不会产生幻觉且成本极低,但实际比常规语言模型更容易出错,且已有 Laya、Kev、Nimble、NanoJev 等开放权重竞品在性价比上超越它。作者借 Jev 案例批评行业以"前 ChatGPT 创造者"、System one、RLCD 等话术包装缺乏实质创新的营销套路。

正文 · AI 翻译

这是一则简短的笔记,关于业界对Jev的反应如何揭示了AI的绝望状态。我将剖析:

  • 什么是Jev,它是如何被炒作的,为什么它像集体癔症一样传播?Jev并没有死,但它的炒作周期已经结束。决策模型正在兴起。

  • 自ChatGPT将“AI”带入主流以来,有哪些值得注意的创新?

  • 为什么业界缺乏真正的创新,以及在4年的革命 渐进式改进之后,哪些高影响力问题仍未解决?

重点是利用Jev的炒作周期来指出那些我们已经太熟悉的操纵性营销。

此时你可能不需要对Jev的介绍,因为自33天前推出以来,它已经风靡一时!

但如果你足够聪明地忽略了它,以下是真正重要的内容:

Jev基本上是一个通用分类器(例如快速判断)。它的有趣之处在于你不需要用大量数据来训练它(尽管缺乏专用训练对其效用产生了负面影响)。

称其为“决策模型”有点牵强,尤其是因为它甚至不能看(竞争对手的开放权重模型具有多模态功能)或推理(这就是它如此便宜的原因)。

Jev背后的想法并不新鲜!非自回归决策模型与强化学习的想法可以追溯到一年多以前。原作者很生气,但正如我们将看到的,戏剧性是AI炒作不可分割的一部分。

我想带你经历一下当我通过hackernews读到他们的公告时所经历的情绪过山车:

在OpenAI,我帮助构建了使语言模型能够有用地遵循指令和与人交谈的方法。那项工作最终成为了ChatGPT背后的研究。

😎 所以这位创始人是ChatGPT的幕后推手,ChatGPT是历史上增长最快的产品之一。我在听……

当时,我以为聊天模型可能会通向AGI,但尽管炒作不断,我明显感觉到缺少了一些非常重要的东西。

😃 哦,天哪!就是这个!ChatGPT缺少了一些重要的东西,而他即将揭示它!如果我们还没有达到AGI,我们也离它更近了一步!我很兴奋地继续读下去……

经过两年的隐身、无数技术挑战和研究突破……我非常激动地宣布

😱 快说出来!我太兴奋了,读到这里……

TypeSafe AI 正在发布我们的首个系统一模型

😯 等等,什么?!!“系统一”?

你明白你在说什么吗?以下是我对丹尼尔·卡尼曼如何定义两个系统的回忆:

  1. 系统一:快速、廉价(就计算能力而言)、情绪化、无意识和判断性。

  2. 系统二:缓慢、昂贵(需要更多脑力)、逻辑性、有意识和更精细。

如果Jev是系统一,那么LM是系统二?它甚至无法处理逻辑推理!

最重要的是,Jev还带来了另一个有趣的框架:

不能产生幻觉

幻觉是当前一代语言模型最大的问题之一,但没有幻觉并不意味着回答在逻辑上正确。在 Jev 的语境中,它只是意味着输出符合模式。

从技术上讲,传统语言模型可以通过外挂一个控制循环(例如类型检查器、JSON 模式解析器)来获得这种能力。Jev 做到这一点要快得多,而且无需推理。名字本身就说明了:

我们以 William Stanley Jevons 的名字命名了 Jev。我们预计机器智能会沿着与煤炭类似的路径发展,就像蒸汽机效率提升后反而导致需求增加一样。

我不知道 Jev 的架构,因为按照真正的“Open”AI 前员工传统,公开的信息并不多(可能是以“安全”或“护城河”的名义)。但这并不妨碍他们抛出一堆术语:

我们构建了一种新的[…]训练方法,我们称之为校准决策强化学习(RLCD)。

注意:RLCD 与那些“传统”方法押韵:

  • RLHF:基于人类反馈的强化学习

  • RLVR:基于可验证奖励的强化学习

他们甚至声称:

Jev 既不是小模型,也不是 LLM,因此不在智能 帕累托曲线上。

幸运的是,类似的模型并不缺乏,其中一些性能甚至更好(Laya、Kev、Nimble、NanoJev 等)

所以让我总结一下这套营销策略:

  • 名人背书:前 ChatGPT 创造者、杰文斯悖论、帕累托曲线、系统一

  • 宏大宣称:不会产生幻觉、速度与成本呈指数级优化、全新栈、惊人的基准测试和演示

  • 模糊与术语:关于“新训练算法”或 RLCD 数据集没有任何有用的实现细节

  • 戏剧性:Laya 在 Jev 发布前 1.5 年就展示了这一想法

好吧,我觉得到这一步,我们已经见过足够多这种模式,能够认出来了。我实际上认为 Jev 团队把它提升到了滑稽的程度。无论他们的营销文案是不是 LLM 写的,他们都拿捏得很到位。

幸运的是,Jev 最初的声量几乎以它爆红同样的速度消退了。我只能推测,随着越来越多的人试用它,我们意识到:

  1. 它不会产生幻觉,但仍然可能出错。它甚至比传统语言模型错得更多,从这个意义上说,“系统一”这个命名是恰当的。不过我认为当前所有代际的语言模型都是系统一(甚至包括推理模型),因为它们并没有真正推理,达不到系统二所应有的那种推理。

  2. 它更便宜,但有开放权重模型在性能/成本比上胜过它(取决于任务)。Jev 与前沿 LLM 的不同之处在于,你实际上可以在边缘(例如本地)运行它,且质量相当。

Jev 并不完全是炒作,我们只是以创纪录的速度从“期望膨胀的顶峰”跌到了“幻灭的低谷”:

它没有死。一些公司在使用它,而我认为大多数用例已被开放权重的竞争对手覆盖。

我真的不想抨击 Jev。相反,我想把它作为一个例子,来说明我们作为一个行业现在所处的位置。

我是少数幸运儿之一,在GPT-2仅限邀请时获得了访问权限。GPT-2

作为一名高级技术负责人,我会分配一部分时间来探索新技术并进行实验,以保持与时俱进。在此之前,我已经体验过IBM Watson和其他一堆产品,所以对我个人来说这没什么大不了的。

实际上,GPT-2让我有些失望,因为当时它只能:

  • 总结文本

  • 预测一段文本之后的内容

  • ……真的就这些!😄 我不记得更多了。所以我继续前进了……

然后我看到有人用这些模型之一创建了回合制对话,为了增加趣味,他们还给它加了一个头像。我觉得这既诡异又有趣。

接着Blake Lemoine站出来声称谷歌名为LaMDA的语言模型是有意识的。不出所料,这引发了一场至今仍在旁支讨论的哲学辩论。再次,我没有过多思考。

但是,Sam Altman在创业加速器(Y Combinator)待了几年后,看到了一个机会。具体来说,聊天应用似乎引起了他的注意,很快ChatGPT就发布了。

当时,我认为这是一种很酷的方式,将他们的token预测模型转变为面向大众的用户友好产品。

就个人而言,我无法认真使用它,因为:

  1. 质量差:它不知道自己不知道什么,所以就胡乱编造(又名幻觉)。尽管“提示工程”和“推理模型”的兴起有望减少这个问题。

  2. 隐私:当时我已经与计算机打交道20多年,信奉“如果有可能,就假设它已经发生”的格言。意思是,如果OpenAI在技术上能够存储我的对话,我就无法足够信任它来分享任何公司知识产权或私人信息。

我清楚地记得谷歌因其多模态演示而遭到强烈反对,当人们意识到它不是实时录制的!那些日子,即使是一个小小的欺骗也会被视为阴谋。

当llama.cpp出现时,我买了一台带有NVIDIA显卡的游戏机(当时AI机器还不存在)来构建AI。

与此同时,人们发现语言模型可以生成代码。复制/粘贴很繁琐,所以我们有了早期版本的harness。

很快之后,我们有了“函数调用”,这让模型能够做事!

当时我正在使用VS Code,炒作难以忽视,尽管我当时的公司有严格政策禁止使用AI工具(是的!很难相信就在3-4年前,公司还优先考虑知识产权而非速度)。

我记得自掏腰包订阅了Copilot,并在我的开源项目中使用VS Code insider。

我非常沮丧,于是在公司Slack上分享了这个梗图:

与此同时,OpenAI发生了戏剧性事件(Ilya参与了一场解雇其CEO的政变,然后Satya在下4D棋,而Elon在找律师)。这是一场闹剧,正是这种方式成功吸引了非技术人士的兴趣,这一趋势延续至今,伴随着“全能 rogue AI”黑客攻击他人,而告密者和危言耸听者崛起,谈论存在性威胁!

与此同时,不成熟的 AI 产品也在制造自己的闹剧(协助犯罪、作弊等),而 AI 拥趸们则把这一工具拟人化,仿佛它有自己的欲望(我的解读是:他们想追究责任)。

还有循环投资、五角大楼闹剧、芯片战争、自主杀人无人机等等,但为了简洁起见,我们还是聚焦技术层面。

随后,Peter Steinberger——一位因倦怠而远离电脑的资深开发者——创造了一个 AI 伴侣,将 Agents(能执行任务的 LM)带入主流。

到目前为止,我已涵盖:

  • 指令微调模型

  • 函数调用

  • 编码框架

  • AI 智能体

让我们快速过一遍其他渐进式改进:

  • 更大的参数规模解锁了涌现特性,这些特性难以通过分析微观层面的架构来解释(大多导致复杂的可感知行为,但也带来参差不齐的对齐效果)。

  • 更大的上下文窗口提升了准确性(尽管实际限制远小于理论规模)。

  • 多模态模型能够生成语音、音乐、图片和视频,同时越来越多的模型能够理解这些模态。

  • MCP 抽象掉了实现细节,使不同的 AI 产品能够使用完成生产性工作所需的工具。

  • ACP、子智能体以及各种编排技术,使更大的任务得以被规划并拆解为更小的部分。

  • 沙箱有助于提升安全性,并隔离智能体工作流中不想要的副作用;当沙箱力有不逮时,还有 HITL(但我们仍未解决审批疲劳问题)。

  • 技能、网页搜索和网页访问让智能体能够获取其训练数据或知识截止日期之外的信息。

  • 各种记忆架构与整合技术使模型能够回忆起所学内容。

  • 中国实验室向我们展示了更高效的模型训练与运行方式。

  • 反馈循环和草稿本通过在更靠近模型的位置执行部分验证,提升了模型的感知质量。

这无疑是实实在在的进步。但我认为 AI 成为热门话题的部分原因,是围绕它的一切闹剧:

  • 地缘政治:与美国以服务业为主的经济不同,中国是制造业巨兽。在 DeepSeek 发现可以通过扩散算力方程来操纵股票和 AI 投资之前,我认为中国并没有一个坚实的 AI 计划。现在他们有了。老一套的美国制裁瞄准了他们的芯片进口,但中国(由工程师治理)最近在芯片制造和模型架构上都取得了巨大进展。与此同时,AI 被用于战争,从无人机到情报(以及国内的mass surveillance)。在畅销书《巨人如何倒下》中,Collins 列出了衰亡的 5 个阶段:a) 成功滋生的傲慢,b) 无节制的贪求更多,c) 否认风险与危险,d) 抓取救赎,e) 屈服于无足轻重或死亡。这些阶段同样适用于衰落的帝国,而在本例中,美国在 AI 上下了重注,而中国则用开放权重模型消解了美国的巨额押注。目前消费者是赢家。

  • 债务泡沫:你可以在彭博社阅读更多,但归根结底,它是一系列相互依存的押注,规模之大足以影响国家GDP。它必须成功,无论要窃取多少知识产权、撒多少谎。事到如今,赌注已经太高了。

  • 安全:我们已经习惯了“失控AI”的叙事——AI厂商入侵其他公司和政府机构却无需承担责任。我们为什么会不习惯呢?训练数据本来就不是合法获取的,这已是公开的秘密(而且有多起集体诉讼可以证明)。除此之外,已经发生了多起案件,有人因AI而丧命——我还没把“氛围战争”算进去呢。(是的,我确实在那里加了个破折号!)🙃

  • 对就业的影响:软件工程因其性质(有大量训练数据,而且工具往往就在语言模型的主场上)成为AI自动化最容易摘取的果实。关于UBI(全民基本收入)和UHI(全民高收入)的讨论一直存在,但看看那些掌控局面的亿万富翁们的仁慈程度,我完全不信。

AI很热,因为它可能影响到我们所有人。但我们必须记住一个简单的事实:

在预测未来方面,人类从根本上就是有缺陷的。

最著名的是,我们很难理解S曲线(意味着变化的速度在开始和结束时都很慢)。

而且,随着知名科学家离开高薪职位以减缓发展速度,我们真的无法确定AI需要多长时间才能真正实现这些变化——如果真能实现的话。

尽管过去几年有了种种渐进式改进,我们仍未解决一些根本性问题。

以下是我认为真正具有颠覆性的几个方面:

  • 抽象推理:神经网络(不仅仅是语言模型)容易编造内容(幻觉)。自手有5根以上手指、视频很容易被识破的时代以来,行业状况已大有改善,但我们最接近真正系统2的方式,是将模型与代码配对,而且反馈循环和人工干预仍然是必要的。

  • 持续学习:辅助上下文(例如技能、接地、搜索和各种模型架构)已经取得了长足进步,但我们离模型实时学习的状态还很远。推而广之,下一代AI应该从更少的样本、数据和重复中学习。

  • 具身化:虽然机器人本体形态已经有了很大改进,但我们仍未达到这样的程度:AI足够快速高效,可以被放入机器人身体中,实时对感官刺激做出反应,或展现精细运动控制,并以足够的精度在3D世界中导航,从而接管“简单”的人类家务。

  • 运行 AI 的经济账: Jensen Huang 谈论安装“吉瓦”级的算力,就好像用公里/小时来衡量温度是正常的一样!!!事实是:我们的大脑以 20 瓦的功率就能提供 AGI 级别的智能,而在我们解决这个问题之前,没有足够的水、电和数据中心能够真正对劳动力产生巨大改变。不幸的是,我们生活在一个后真相世界里,歇斯底里、个性化宣传和群体性精神病对主流话语产生了过大的影响,所以我们都被搞得恐惧又分心。如果我们期望具身 AI(机器人)能替代哪怕一小部分人类人口,经济账就更说不通了。与机器人不同,我们的有机身体回归自然、参与自然回收系统的速度,要比构建机器人的金属和塑料快得多。有时我觉得我们忘了自己生活在一块资源有限的小石头上,而这些资源正变得越来越难开采。

所有这些,并不是说 AI 不会被用于:

  • 机器人士兵和机器人警察

  • 制造新的疾病

  • 将大规模监控与个性化宣传连接起来

  • 企业间谍活动和对计算机系统的大规模渗透

  • 等等。

事实是:你不需要 AGI 级别的智能就能造成破坏。当前这一代 AI,配上约束机制、工具和技能,落入坏人之手就完全足以造成损害。

如果你觉得这还没发生,我认识一个人,他在自己地下室里免费发冰淇淋!🙃

我认为 Jev 是一个很好的例子,说明出色的营销在现实面前是如何偃旗息鼓的。

  • 它有用吗?有用。

  • 它相关吗?相关。

  • 它死了吗?死的只是它的炒作。

  • 它是革命性的吗?取决于你的成本、质量、速度三角。

  • 它有宣传的那么大吗?我希望你现在已经有答案了。

如果我有一根魔杖,我希望我们都能退后一步,看看近期事件的整体脉络,稍微冷静一下。危险信号很容易看出来:

  • 名人背书:在新未知与可信的已知之间架起一座桥梁。

  • 行话:让你因为缺乏背景知识而觉得自己很蠢。

  • 模糊性:让你的大脑去填补空白,如果你是个乐观主义者,你就有过度兴奋并最终失望的风险

  • 抬高预期:宏大的主张需要宏大的证据。不要相信那些与你实际使用方式不符的孤立基准测试,尤其是当基准测试来自存在利益冲突的同一实体时。

  • 戏剧性:把人类情感卷入本应是逻辑性的技术决策。“所有宣传都是好宣传”。

不幸的是,我认为那艘船可能已经开走了,在大规模生产的合成内容和个性化宣传的时代,也许我们压力太大,无法清醒思考。

也许 LLM 终究是“系统二”,如果我们集体失去批判性思维,任由情绪被近来屡见不鲜的那种营销和操纵所摆布。

有人在 Hackernews 上分享了这篇文章(谢谢 🙌),它一路升到了第 2 位。早期评论以智能体般的速度涌来,但显然没费心读完全文。

一般来说,我觉得 HN 的评论相当有用,但似乎有一个机器人网络正积极试图将其个人化,并进一步把对话引向营销 Jev。奇怪。🤔

如果你觉得这篇文章有见地,请在你的圈子和社交媒体上分享,以启发他人。

分享

我的变现策略 是免费提供大部分内容,但这些文章从起草、编辑、研究、配图到发布,需要花费几小时到几天不等的时间。这些时间来自我的私人时间、休假和周末。支持这项工作的最简单方式是 点赞、订阅并分享。如果你真的想支持我提升我们的社区,可以考虑付费订阅。如果你想省钱,可以通过 此链接 获得 20% 的折扣。作为感谢,订阅者可以完全访问 Pro-Tips 部分和我的在线书籍 Reliability Engineering Mindset。你的贡献也为我的开源产品提供资金,例如 Service Level Calculator。你也可以 邀请朋友 获得免费访问权限,或通过 团体订阅 节省费用。

对于那些已经支持我的人,感谢你们为其他人赞助这些内容。🙌 如果你有问题或反馈,或者想让我深入探讨某些内容,请在评论中告诉我。

没有帖子

来源:Hacker News · blog.alexewerlof.com