跳到正文
The Decoder· Jonathan Kemper·· 4 小时前AI 评分38

前 DeepMind 研究员 Thore Graepel 认为 AlphaGo 思路可治 AI 幻觉

Former Deepmind researcher thinks AlphaGo's playbook can cure AI hallucinations

AI 导读

前 DeepMind 研究员 Thore Graepel 创立 Metis Reasoning,提出用 AlphaGo 式搜索加显式知识账本替代把知识烧进模型权重,以减少幻觉并支持引用溯源。该系统用两个神经网络提议和评估“动作”,由独立模块依据计算、形式证明或实证证据核验,未获支持的推理步骤不改变知识状态。该方案目前仅为研究计划,无可用系统、无 benchmark、无与现有推理模型的对比。

正文 · AI 翻译

前Deepmind研究员Thore Graepel希望构建能够追踪自身所知、并对每一个结论进行证据核验的AI系统。他的团队表示,更大的语言模型无法解决这一问题。

Thore Graepel认为,2016年让AlphaGo击败围棋职业棋手李世石的那套理念,同样可以让AI系统更加可靠,包括在机器人领域。这位前Deepmind研究员创立了Metis Reasoning,并在柏林举行的英伟达GTC大会上阐述了这一方法。英伟达一直在该大会上扩展其面向机器人和物理AI的平台,目标是将机器人技术的数据问题转化为算力问题。

用知识账本取代固化在模型权重中的知识

据Metis称,当今的语言模型仅相当于AlphaGo的预测网络,负责给出可能的落子建议。AlphaGo将这一网络与对棋局序列的系统性搜索相结合,发现了著名的第37手——这一手棋若由该网络评估,人类棋手走出的概率大约只有万分之一。Metis希望将这类搜索引入通用推理。

Tabelle ordnet neun Elementen eines Spiels wie Position, Zug, Übergangsregel, Ziel, Policy, Value, Suche, Erfahrung und Spielende jeweils ihre Rolle im Reasoning-System zu.
Metis Reasoning将AlphaGo的构建模块应用于通用推理,由显式的知识状态扮演棋盘的角​​色。| 图片:Metis

要做到这一点,需要该公司论文中所称的显式知识账本,其作用相当于棋盘。类似的想法已经存在:微软的GraphRAG在模型权重之外以知识图谱的形式组织知识,谷歌的AlphaGeometry2则将语言模型与一个可验证数学证明的符号引擎配对。Metis希望将这些原则扩展到现实世界中的开放性问题。

其知识账本记录已知内容、系统的置信程度以及哪些问题仍未解决。一个独立模块会依据计算、形式化证明或经验证据来核验新增条目;当某个假设不再成立时,所有依赖该假设的结论都会被重新评估。一次“落子”可以是一个问题、一项实验,或对现有假设的质疑;系统会选择最能减少原始问题不确定性的那一个,最终给出答案或有理有据的弃答。

Flussdiagramm des Reasoning-Zyklus von Metis Reasoning mit den Schritten Zustand, Ziel und Budget prüfen, Zug wählen und ausführen, Begründung bewerten, Zustand aktualisieren oder Ergebnis protokollieren, Fortschritt bewerten und der Entscheidung, ob die Untersuchung weiterläuft oder mit Antwort, Enthaltung oder Grenzbericht endet.
在Metis Reasoning的方法中,只有当独立核验认为某一步推理得到充分支持时,该推理步骤才会改变系统的知识状态。| 图片:Metis

与AlphaGo一样,两个神经网络分别负责提出和评估落子,它们基于以往调查的记录进行训练,但无权推翻核验规则。Metis表示,这一架构应当能减少幻觉、给出附有来源引用的解释,并让知识无需重新训练即可修改或删除。由于推理被拆解为小步骤,该方法还可能有利于在边缘设备和机器人上运行较小的模型。

企业仍对语言模型信任不足,尚不敢部署

Metis 认为,更多数据和算力能改进语言模型,但解决不了这项技术的根本问题:模型会编造答案,其推理链无法验证,知识被锁在权重里。幻觉 来自 训练 过程 本身, 论文 指出, 因为 模型 学会 生成 看似合理 的文本 而非 真实 的文本, 而且 即便是 当今 推理 模型 中的 思维链 也 常常 无法 展示 答案 究竟 是 如何 得出的。

论文称,这正是 AI 迄今经济影响如此之小 的原因。当智能体代表公司行事时,错误很难追溯到源头,错误的知识也无法从模型中移除。AI 在软件工程领域腾飞,是因为代码易于测试和回滚,但论文认为,在医学、金融、芯片设计和机器人领域,AI 需要从根本上具备可验证性。

该白皮书只描述了一个研究计划,没有可运行的系统、没有基准测试,也没有与当前推理模型的比较。团队承认,现实世界不同于围棋,只提供部分信息,获取证据可能代价高昂,而且有些问题根本没有答案。最大的未解问题是,鉴于符号 AI 系统曾恰恰因为所有知识都必须手工输入而失败,在教科书示例之外的杂乱领域中,经过验证的知识账本将如何成形。

继 Silver 和 Rocktäschel 之后,又一位 Deepmind 老将自立门户

根据其网站,Graepel 于 2001 年在柏林获得机器学习博士学位。在微软研究院,他帮助构建了 TrueSkill,即 Xbox Live 背后的匹配系统。之后他转投 Deepmind,参与了 AlphaGo、AlphaZero 和 MuZero 的工作。在 Altos Labs 任职一段时间后,他最近在 Google Deepmind 的后 AGI 团队工作,并于今年夏天离开。他还担任伦敦大学学院的机器学习教席。据彭博社报道,Graepel 正为 Metis 筹集数千万美元级别的低轮融资,并已在筹备以更高估值进行的数亿美元后续融资。

他是 Deepmind 最著名突破的最新缔造者之一,如今要在 Google 之外另起炉灶。前同事 David Silver 创立了 Ineffable Intelligence,并完成了欧洲初创公司中规模最大的一笔种子轮融资。Tim Rocktäschel 联合创立了 Recursive,目前估值 46.5 亿美元。其他人则直接投奔竞争对手。据《金融时报》报道,Deepmind 解散了 AlphaFold 背后的团队,诺贝尔奖得主 John Jumper 与两位同事一起离职加入 Anthropic。CNBC 将人才流失部分归因于内部对 Google TPU 芯片的访问受限以及官僚作风,而 Deepmind 自身也正在 失去独立性,创始人 Demis Hassabis 已从日常运营中退居二线。

没有炒作的 AI 新闻——由人类精选

订阅 THE DECODER,享受无广告阅读、每周 AI 新闻简报、每年六期独家“AI Radar”前沿报告、完整档案访问权限以及评论区访问权限。

来源:The Decoder · the-decoder.com