arXiv cs.CL· Ajit Mallavarapu, Ziwei Gu·· 10 小时前AI 评分29
无需训练也能发现 LLM 风格维度：采样加 PCA 即可识别提示词相关风格轴
Sampling Reveals Style: Unsupervised, Training-Free Discovery of Prompt-Conditional Stylistic Axes in LLM Activations
AI 导读
研究者提出一种无需训练、针对单条提示词的方法：对同一提示词在较高温度下反复采样，对池化的隐藏激活做 PCA，再用两极生成自动标注风格轴。在 Qwen-3.5-4B-Instruct 上，前两个轴与人类自发提出的风格维度匹配的精确率为 72.8%、宏召回率 43.6%，75.6% 的有效性评分认为两极生成与标签相符。
正文 · AI 翻译
摘要：大型语言模型（LLM）在其隐藏激活中编码了丰富的风格结构，但要发现哪些风格维度对给定提示词是显著的，通常需要监督对比数据。我们提出了一种无需训练、以提示词为条件的替代方法：我们在较高温度下对单个提示词反复采样补全结果，对池化后的隐藏激活应用主成分分析（PCA），并根据两极生成结果自动为所得轴标注。我们通过一项两阶段研究，用 245 条人工引出的风格标注验证了所发现的轴。在我们最强的模型（Qwen-3.5-4B-Instruct）上，前两个轴与人类自发请求的维度匹配，精确率为 72.8%，宏平均召回率为 43.6%；75.6% 的有效性评分认为这些轴的两极生成结果与其标签相符，相邻标注者一致率为 90.9%。可发现性在很大程度上取决于模型：两个 Qwen 模型和 Llama-3.2-3B 都展现出人类显著的轴，而 DeepSeek-7B-Chat 的精确率降至 35.3%，其主导成分由结构方差而非风格方差主导。因此，对模型自身解码方差做简单 PCA，是一种有效且低成本地探测 LLM 表示中风格结构的方法，同时也揭示了不同模型在该结构组织方式上的显著差异。
| 评论： | 发表于 BlackboxNLP Workshop @ EMNLP 2026 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2609.19150 [cs.CL] |
| （或 arXiv:2609.19150v3 [cs.CL] 对应本版本） | |
| https://doi.org/10.48550/arXiv.2609.19150 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考： | Proceedings of the 9th BlackboxNLP Workshop: Analyzing and Interpreting Neural Networks for NLP, pages 639-654, 2026 |
| 相关 DOI： | https://doi.org/10.18653/2026.blackboxnlp-1.37
链接到相关资源的 DOI |
提交历史
来自：Ziwei Gu [查看邮箱]
[v1]
2026年7月20日星期一 11:55:26 UTC（480 KB）
[v2]
2026年9月18日星期五 12:42:25 UTC（468 KB）
[v3]
2026年11月6日星期五 00:03:05 UTC（469 KB）
来源：arXiv cs.CL · arxiv.org