Google DeepMind 新论文：LLM 用关键词建主题树优于嵌入向量

Rohan Paul· @rohanpaul_ai · X·2026-10-29 02:32· 1 小时前AI 评分45

AI 导读

Google DeepMind 新论文提出 CALLIOPE：让 LLM 从关键词而非嵌入向量构建主题树，在严格隐私约束下生成更清晰的主题图。该方法由 LLM 给每篇文档打少量关键词并加噪，只保留高频关键词，再由 LLM 据此提出主题并归类文档。

正文 · 原文

Google DeepMind 的新论文发现，让 LLM 从关键词而非嵌入向量构建主题树，能在严格隐私约束下给出更清晰的主题图。

团队想了解用户向聊天机器人问了什么，同时又不暴露任何人的信息。常见的隐私保护做法是对嵌入向量加噪后聚类，但在严格隐私约束下，返回的聚类太少且名称质量差。

CALLIOPE 让 LLM 为每篇文档标注少量关键词并加噪，使只有常见关键词得以保留。随后 LLM 据此提出主题，并将文档归入这些主题。

在测试的最严格隐私设置下，人类评分者在全部 3 个数据集上都更偏好 CALLIOPE 而非基于嵌入向量的 URANIA，偏好比例最高达 76% 对 18%。

该方法消耗的 token 是原来的 2 到 5 倍。对于隐私安全的使用情况报告，建议从 LLM 构建的主题入手，并为这一成本做好预算。

来源：Rohan Paul · x.com