arXiv cs.CL· Eunchan Kim, Inwhee Joe·· 10 小时前AI 评分31
PEEL：从检索嵌入中提取本体结构，利用 Matryoshka 前缀粒度对齐
Peeling the Matryoshka: Extracting Ontological Structure from Retrieval Embeddings
AI 导读
研究者提出 PEEL，一种在冻结的 Matryoshka 表示学习（MRL）嵌入上训练的最小探针，用序嵌入目标将层级表示为向量包含关系，再通过最小生成树解码分类 DAG。
正文 · AI 翻译
摘要：分类体系构建对于知识密集型 NLP 至关重要，但成本高昂：基于聚类的方法 (i) 需要针对每个语料库仔细调参，且生成的层级结构不稳定；而基于 LLM 的流程 (ii) 依赖昂贵的任务特定训练，无法跨领域迁移。我们报告一项与两者都相关的实证发现：在 Matryoshka 表示学习（MRL）嵌入中，每个前导前缀本身就是一个可用的、更粗粒度的向量，前缀长度与金标准分类体系的由粗到细粒度对齐；打乱维度和反转维度的对照实验将这种对齐隔离到学习到的早期前缀维度上。该模式在三个架构不同的 MRL 模型中均成立。为检验这一规律是否可用，我们提出 PEEL（Peeling Embeddings to Extract Latent ontologies）：对这些冻结嵌入进行的最小探针，使用将层级表示为向量包含关系的顺序嵌入目标训练一次；随后用最小生成树状图解码分类 DAG。仅使用概念词汇表（不使用文档），PEEL 在两个 OLLM 基准上以高结构保真度恢复分类 DAG，并在无目标边监督的情况下迁移到新领域。端到端 OLLM 流程（从文档语料库中联合发现概念并归纳结构）作为跨任务参考报告。预训练检索嵌入编码了可解码的粒度梯度；一个最小探针将其呈现为显式的父子（is-a）结构。
| 评论： | 已被 EMNLP 2026（主会议）接收。13 页，6 幅图，7 张表。代码：此 https URL |
| 主题： | 计算与语言（cs.CL）；信息检索（cs.IR）；机器学习（cs.LG） |
| ACM 分类： | I.2.7 |
| 引用为： | arXiv:2610.41785 [cs.CL] |
| （或 arXiv:2610.41785v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41785 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Eunchan Kim [查看电子邮件]
[v1]
2026 年 10 月 30 日星期五 14:19:53 UTC（1,751 KB）
来源：arXiv cs.CL · arxiv.org