arXiv cs.AI· Luc Hazenoot, Zhaochun Ren, Amirhossein Zohrehvand·· 3 天前AI 评分22
用 LLM 激活值测量文本中的概念内容：基于概念向量与线性探针的 ESG 证据
Measuring Concept Content in Text from LLM Activations: ESG Evidence from Concept Vectors and Linear Probes
AI 导读
研究比较了 Recursive Feature Machine（RFM）与线性探针从 LLM 激活值中提取概念的效果，在人工标注的 ESG 金融文本数据集上，最佳线性探针准确率比微调领域分类器低 0.6 至 3.3 个百分点，但在所有对比中均优于模型自身回答，且准确率全面超过 RFM 概念向量。在合成混合测试中，线性探针的均值池化分数比概念向量分数更能跟踪段落中概念句的数量。
正文 · AI 翻译
摘要：近期研究表明，大型语言模型（LLM）在其激活中编码的信息比其在响应中展示的更多。我们探究激活中包含的信息能否用作衡量概念存在与否的来源。我们比较了两种概念提取算法，即递归特征机（RFM）算法和线性探测，对照嵌入基线、表面基线以及模型自身的响应，使用人工标注的金融文本环境、社会与治理（ESG）数据集。最佳线性探测比微调的领域分类器低 0.6 至 3.3 个百分点。在所有比较中，探测的得分也高于模型自身的响应。此外，在所有准确率比较中，探测均优于 RFM 概念向量。在合成混合测试中，其均值池化得分比概念向量得分更能跟踪段落中概念句子的数量。综合来看，在冻结的 LLM 上进行线性探测是微调领域分类器的一种经济高效且可泛化的替代方案。
| 评论： | 26 页，3 幅图，16 张表 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG）；一般经济学（econ.GN） |
| ACM 分类： | I.2.7；I.2.6；J.4 |
| 引用为： | arXiv:2608.07208 [cs.CL] |
| （或 arXiv:2608.07208v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.07208 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Amirhossein Zohrehvand [查看电子邮件]
[v1]
2026 年 8 月 7 日星期五 13:21:50 UTC（106 KB）
[v2]
2026 年 10 月 11 日星期日 20:23:01 UTC（86 KB）
来源：arXiv cs.AI · arxiv.org