跳到正文
arXiv cs.CY· Fengming Liu, Mingyu Shu·· 23 小时前AI 评分39

研究揭示嵌入余弦相似度主要反映文本长度而非同质化

Embedding Cosine Measures Text Length Before It Measures Homogenization

AI 导读

对 606 万条 Reddit 评论的重新测量发现,未中心化的 DeBERTa-v3 余弦相似度主要追踪文本长度:将评论从 10 词截断到 150 词,平均余弦相似度提升幅度是原报告断点的 8 倍。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:Transformer 嵌入之间的平均成对余弦相似度,是衡量在线话语是否在生成式 AI 影响下趋于一致的标准指标。当嵌入是未经句子相似度训练的编码器的均值池化输出时,该指标主要反映的是文本长度。在 606 万条 Reddit 评论中,一种未中心化的 DeBERTa-v3 指标曾提示:2022 年末之后,只有保守派话语趋于同质化。将同样的评论从 10 词截断到 150 词,会使其平均余弦相似度提高至所报告断点的八倍。一个将每条评论替换为等长随机评论的安慰剂实验复现了 81% 的不对称性,而固定内容模拟复现了 78%。主导主方向承载了原始 DeBERTa 同质性的 99.9%,而一旦处理长度因素,该不对称性在所有编码器下都消失。在 575,000 条 Stack Exchange 回答上,该指标报告了 ChatGPT 之后技术网站的同质化,而安慰剂实验完全复现了这一结果,尽管回答变得更长。对 31 项研究的普查定位了风险所在:各向异性编码器与时间序列或长度不等设计相遇之处。对一项知名实验的反向对照表明,带重归一化的中心化可能逆转真实效应。我们提出一种低成本诊断协议。校正后的指标显示,两个政治阵营在 2019 年至 2022 年间趋于一致,并在 ChatGPT 之前停止趋同。跨阵营回复比同阵营回复更紧密地针对其对象。
评论: 11 页,10 幅图,2 张表。对 arXiv:2608.13674 的重新测量。v2:新增共同作者 Mingyu Shu
主题: 计算与语言(cs.CL);计算机与社会(cs.CY);社会与信息网络(cs.SI)
引用为: arXiv:2611.21519 [cs.CL]
  (或 arXiv:2611.21519v2 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.21519

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Fengming Liu [查看电子邮件]
[v1] 2026 年 11 月 16 日星期一 18:12:15 UTC(206 KB)
[v2] 2026 年 11 月 18 日星期三 08:46:51 UTC(201 KB)

来源:arXiv cs.CY · arxiv.org