arXiv cs.CL· Mahdi Naser Moghadasi·· 11 小时前AI 评分42
现代文本嵌入模型的几何盲点：语义丰富却对情感度量失明
Semantically Rich, Metrically Affect-Blind: A Geometric Blind Spot in Modern Text Embedders
AI 导读
研究者在 2021 至 2026 年的 11 个冻结编码器（含 4B 参数的 Qwen3-Embedding-4B）上发现系统性分离：线性探针最高以 91.3% 准确率还原句子极性，但余弦相似度对极性的区分边际仅 0.003-0.064。
正文 · AI 翻译
摘要：我们报告了现代文本嵌入器中的一种系统性分离：情感几乎可以完美地从其嵌入中解码出来，却几乎完全不在其度量中体现。在涵盖 2021 年至 2026 年的十一个冻结编码器中，包括 2026 年世代模型和 4B 参数的 LLM 嵌入器 Qwen3-Embedding-4B，线性探针恢复句子极性的准确率最高可达 91.3%，而余弦相似度区分极性的差距仅为 0.003-0.064。Qwen3-Embedding-4B 是该面板中最强的探针，探针准确率达到 91.3%，但检索 MAP 仅为 64.3。由于检索、聚类、去重和检索增强生成都基于度量而非训练好的探针运行，这些系统实际上对其编码器明显包含的信息视而不见。一项任务条件控制表明，这反映的是预训练目标而非提示伪影：将 Jina-v5 以其分类任务而非检索任务为条件，仅恢复了注入在相同权重上实现的 MAP 增益的大约一半（63.2 至 73.8，对比 85.1），并且对齐差距基本保持不变。情感注入句子嵌入（SISE）使用带标签的训练集，在 CPU 上于数秒内基于冻结编码器训练一个小型（0.13M-0.69M 参数）监督对比头。该头在全部数据探针准确率（最高 +5.8 点）、检索 MAP（最高 +26.0）和极性差距（7-61 倍）上改进了 2022 年以来发布的每一个编码器。这是一种特化，而非免费收益：紧凑的 128 维头在 STS-B 上损失 38-41 个 Spearman 点，而将其与基础嵌入拼接的融合变体损失 2.4-12.0。使用该头时，128 维的 0.6B 编码器在给定相同头的情况下可匹敌 4B 编码器（91.8 对 90.3 MAP）。我们发布了一个可在 CPU 上复现的流水线和一个可复用的诊断指标——属性对齐差距。
| 评论： | 6 页，2 幅图，3 张表。代码：此 https URL |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.32122 [cs.CL] |
| （或 arXiv:2610.32122v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32122 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mahdi Naser Moghadasi [查看电子邮件]
[v1]
2026 年 10 月 23 日星期五 03:50:48 UTC（113 KB）
来源：arXiv cs.CL · arxiv.org