arXiv cs.CL· Raj Shekhar Singh, Pratham Agarwal·· 10 小时前AI 评分19
路径签名作为词汇指纹：用迭代积分构建词汇相似度句嵌入
Iterated Integrals as Lexical Fingerprints: Path Signature Embeddings for Lexical Similarity
AI 导读
研究者提出用 Word2Vec 轨迹的路径签名构建句嵌入，借助粗糙路径理论的迭代积分显式捕捉词序与词汇结构。在 Levenshtein、Jaro-Winkler、词 Jaccard、音素 Levenshtein 和字符 TF-IDF 五项词汇字符串指标上，平均池化几乎无法反映字符级编辑距离，而路径签名与之高度吻合，depth 2 签名在字符与词级敏感度间取得最佳平衡。
正文 · AI 翻译
摘要：尽管句子嵌入主要面向语义泛化而设计，其潜在几何结构却隐式编码了表层词汇属性，而这一关系至今仍鲜为人知。浅层池化方法丢弃了词序，而深层 Transformer 模型则将这类词汇对齐隐藏在计算复杂性和难以解释的空间背后。我们提出通过 Word2Vec 轨迹的路径签名来构建句子嵌入，利用粗糙路径理论的迭代积分，以几何上易于处理的方式生成显式捕捉序列与词汇结构的表示。通过涵盖 Word2Vec 维度、签名深度和 PCA 压缩的大量消融实验，我们将嵌入距离与五种词汇字符串度量进行关联：Levenshtein、Jaro-Winkler、词 Jaccard、音素 Levenshtein 和字符 TF-IDF。我们揭示出，平均池化几乎完全无法捕捉字符级编辑距离，而路径签名与其高度对齐，其中深度为 2 的签名在字符级和词级敏感性之间实现了最优平衡。此外，我们证明关键的词汇方差集中在一个高度紧凑的 PCA 子空间中，并且与池化不同，签名在结构上保留并量化了词序。这些发现确立了路径签名并非语义泛化器，而是显式编码离散词汇结构和词序的严谨数学透镜，为词汇追踪提供了一种可解释的替代方案，以取代不透明的深度学习。
| 评论： | 已被 NeurIPS 2026 LP4FM Workshop 接收 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.41855 [cs.CL] |
| （或 arXiv:2610.41855v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41855 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Raj Shekhar Singh [查看邮箱]
[v1]
2026 年 10 月 30 日星期五 15:11:18 UTC（14 KB）
来源：arXiv cs.CL · arxiv.org