Gemma 2 情绪表征几何研究：跨规模、深度与指令微调的测量

查看 PDF HTML（实验性）

摘要：我们测量了涵盖 Google Gemma 2 系列的六个 LLM 的情绪几何结构。我们采用 Sofroniew 等人（2026）在 Claude Sonnet 4.5 上建立、并由 Hollowell（2026）在 Gemma 2 27B base 上复现的提取流程，比较了 Gemma 2 2B、9B 和 27B 的 base 与指令微调变体的情绪几何结构。第一，全部六个模型单元都表现出核心情绪几何结构。在两个单元之间拟合的线性映射，使留出情绪在目标模型中与其自身向量最接近。在全部十五个模型对中，每个方向各拟合一次，仅失败一次，且每一对的中位秩均为 1。在清理后的嵌入表向量上重新拟合的线性映射，在全部三十个有序对中都以秩 1 恢复每一个留出情绪。第二，规模将几何结构的方差分散到更多方向，却没有削弱其与效价之间的联系。主成分的方差占比在 base 模型中从 31.6%（2B）降至 29.8（9B）再降至 26.7（27B），在微调模型中从 31.9（2B）降至 29.2（9B）再降至 27.3（27B），而其与人类效价评分的相关性在全部六个模型中保持在 .71 到 .78 之间。第三，我们将每个情绪向量投影到输出词表上，并考察该向量自身的情绪词在 256,000 个 token 中进入前 10,000 的深度。在 2B 和 9B 模型中，情绪词的中位数从第 0 层就已出现；而在 27B 模型中，它起初接近随机水平，在网络的一半深度内都位于前 10,000 之外，并在第 23 层一步进入。第四，微调使每一项已登记的分析层指标都保持在其下限之内。在每种规模下，效价相关性上升、唤醒度相关性下降，幅度均在其下限之内，后者与预测相反。PC2 的方差占比也下降，合并后的降幅在校正后显著。中后层稳定性超过其下限，并可追溯到 base 27B 的最后一层。代码、数据和审计报告已发布。

主题：	计算与语言（cs.CL）；机器学习（cs.LG）
引用为：	arXiv:2610.35411 [cs.CL]
	（或 arXiv:2610.35411v1 [cs.CL] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.35411 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Adam Hollowell [查看邮箱]
[v1] 2026年10月26日星期一 13:23:07 UTC（350 KB）