arXiv cs.CL· Federica Granese, Serena Villata, Charles Bouveyron·· 12 小时前AI 评分22
SentenceETM：结合词汇与上下文证据的句子级主题建模
Sentence-Level Topic Modeling with Lexical and Contextual Evidence
AI 导读
研究者提出神经主题模型 SentenceETM，为每个句子分配主题，同时利用词汇与上下文两类证据：主题既由词嵌入定义的词表分布描述，也由集中在主题特定低维子空间的句子嵌入高斯分布描述。句子主题同时生成其词与嵌入并被精确边缘化，文档主题比例用摊销变分推断，高斯参数以闭式解重估。实验显示其句子级主题分配持续优于现有方法，总统辩论案例研究展示了候选人如何处理相同话题。
正文 · AI 翻译
摘要：主题建模面临一个根本性的粒度困境：概率主题模型在词级别分配主题，而基于 Transformer 的方法在文档级别运行。后者忽略了现实世界中的文档通常涵盖多个主题，而前者依赖单个词，这些词很少能提供足够的上下文来识别主题。我们提出 SentenceETM，一种神经主题模型，通过联合使用词汇和上下文证据为每个句子分配一个主题。每个主题既通过词嵌入定义的词汇表分布来描述，也通过集中在主题特定低维子空间上的句子嵌入高斯分布来描述。句子的主题生成其词和嵌入，并被精确边缘化，因此其后验结合了两种证据来源。文档比例通过摊销变分推断来推断，而高斯参数以闭式重新估计。实验表明，SentenceETM 在句子级主题分配上持续优于最先进的方法，并且一项总统辩论的案例研究展示了句子级主题如何揭示候选人如何处理相同主题。
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.23388 [cs.CL] |
| （或 arXiv:2610.23388v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.23388 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Federica Granese [查看电子邮件]
[v1]
2026年10月16日星期五 12:48:59 UTC（1,051 KB）
来源：arXiv cs.CL · arxiv.org