arXiv cs.AI· Kriste Krstovski, Sharyn O'Halloran, Kshitij Chandna·· 4 小时前AI 评分20
hETM:在嵌入空间建模文档与章节层级的层次化主题模型
Modeling Document and Section Hierarchies in Embedding Space
AI 导读
研究者提出层次化嵌入主题模型 hETM,通过嵌入空间中的层次先验,将文档的主题分布与其各章节的主题分布耦合起来,并推导了摊销变分推断流程。在多个领域的结构化文档集合上,hETM 的留出困惑度在扁平与层次主题模型基线中达到最低或接近最低,主题质量相当或更高,并在多数集合的下游聚类任务中取得最佳表现。
正文 · AI 翻译
摘要:嵌入式主题模型将词嵌入整合到主题生成过程中,能够产生连贯的主题,并在大规模词汇表上表现出稳健的性能。然而,每篇文档仅由单一主题分布表示,忽略了其内部结构。许多现实世界的文档集合,包括法律文件、公司和政府报告以及在线讨论论坛,都呈现出层级组织,其中文档由多个章节组成,这些章节往往涉及不同的子主题。我们引入了层级嵌入式主题模型(hETM),这是一种结构化主题模型,通过嵌入空间中的层级先验将文档的主题分布与其各章节的主题分布耦合起来。我们推导了 hETM 的摊销变分推断过程,并在来自上述各领域的结构化集合上对其进行了评估。实验结果表明,在扁平与层级主题模型基线中,hETM 取得了最低或接近最低的留出困惑度,同时主题质量相当或更高。它在下游聚类任务上也表现强劲,在大多数集合上取得了最佳的聚类性能。
| 主题: | 机器学习(stat.ML);人工智能(cs.AI);计算与语言(cs.CL);机器学习(cs.LG) |
| 引用为: | arXiv:2611.21980 [stat.ML] |
| (或 arXiv:2611.21980v1 [stat.ML] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.21980 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Kriste Krstovski [查看邮箱]
[v1]
2026年11月16日星期一 23:09:30 UTC(108 KB)
来源:arXiv cs.AI · arxiv.org