arXiv cs.CL· Elif Dorukba\c{s}{\i}, \.Ilker T\"urker·· 23 小时前AI 评分18
用可见图表示词嵌入做文本分类
Visibility Graph Representations of Word Embeddings for Text Classification
AI 导读
研究将词嵌入平均为定长文档向量后转为自然可见图,以节点度数向量或邻接矩阵输入分类器做新闻主题分类。在 AG News 四分类基准上,卡方筛选保留 100 至 1,500 词,度数表示在 1,000 词时达到最高 91.24% 准确率,1,500 词时比 BERT 基线高 0.29 个百分点;卷积对比中邻接矩阵输入在 1,000 词时达 86.16%,高于最强静态嵌入的 83.12%。
正文 · AI 翻译
摘要:文本分类器依赖于能够以学习模型可用的形式揭示类别之间差异的表示,而受限的词汇表会改变哪种表示最为有效。本文研究自然可见图作为一种中间表示,在受控词汇预算下用于新闻主题分类。词嵌入被平均为固定长度的文档向量,该向量被读取为有序数值序列,其自然可见图以有序节点度向量或邻接矩阵的形式传递给分类器。在四类 AG News 基准上,卡方选择保留 100 至 1,500 个词,并将图输入与来自连续词袋、skip-gram、GloVe、FastText 和 BERT 的基于嵌入的直接表示进行比较。使用全连接分类器时,从选择 700 个词起,度表示是最准确的配置;它在 1,000 个词时达到最高准确率 91.24%,并在 1,500 个词时超过基于 BERT 的基线 0.29 个百分点。在另一项卷积比较中,邻接输入在 1,000 个词时达到 86.16%,而最强的静态嵌入为 83.12%。结果表明,一旦所选词汇表提供足够的覆盖,可见性导出的特征可以具有竞争力。我们讨论了图压缩、坐标排序和分类器选择的作用,以及为确定所观察到的小差异的可靠性所需的控制措施。
| 学科: | 计算与语言(cs.CL) |
| ACM 分类: | I.2.7; I.5.4 |
| 引用为: | arXiv:2611.22685 [cs.CL] |
| (或 arXiv:2611.22685v1 [cs.CL] 为此版本) | |
| https://doi.org/10.48550/arXiv.2611.22685 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Elif Dorukbaşı [查看电子邮件]
[v1]
2026年11月17日星期二 12:35:55 UTC(1,026 KB)
来源:arXiv cs.CL · arxiv.org