arXiv cs.CL· Nishkal Hundia, Swastik Agrawal, Navita Goyal, Sarah Wiegreffe·· 10 小时前AI 评分31
少扫参数多引导：用激活引导几何减少超参数搜索
Sweep Less, Steer More: Using Activation Steering Geometry for Reduced Hyperparameter Search
AI 导读
研究基于可判别性指数 d' 这一计算廉价的几何指标，在 3 个模型的 5 种行为上验证其可用于替代逐层扫描来选择引导层。在多项选择问答（MCQA）中 d' 能可靠定位有效引导层，在开放式多 token 生成中同样适用于层选择。但用生成 token 表示在 DIM 线上的位置预测单例引导成败，仅在 d' 较高的数据集上有效，开放式生成中跨行为、模型和训练 token 选择并不一致。
正文 · AI 翻译
摘要：诸如均值差（DIM）之类的表征引导方法为控制 LLM 行为提供了一种轻量级途径，但其有效性在不同概念、数据集和层之间差异很大，若不进行详尽的超参数扫描，原则性部署的成本会很高。我们基于可区分性指数 $d'$ 展开研究，这是一种计算成本低廉的几何度量，用于衡量对比训练激活沿引导方向的可分离程度。在 3 个模型上的五种行为中，我们展示了其超出既有数据集级可引导性预测器作用的用途。首先，在多项选择问答（MCQA）设置中，我们表明 $d'$ 能可靠地识别出可进行引导的高性能层，从而无需逐层扫描。其次，我们将此分析扩展到开放式多 token 生成，并发现 $d'$ 在不同设置下的层选择中依然有效。最后，我们检验了生成 token 的表征在 DIM 线上的位置能否预测该单个样本上的引导成功与否。在 MCQA 设置中，这对高 $d'$ 数据集有效，但在开放式生成中，其表现会因行为、模型和训练 token 选择的不同而不一致。这凸显出在单 token MCQA 设置中开发的方法和得出的结论未必能迁移到开放式生成。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.01496 [cs.LG] |
| （或 arXiv:2611.01496v1 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.01496 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Nishkal Hundia [查看电子邮件]
[v1]
2026年11月1日星期日 03:29:29 UTC（1,495 KB）
来源：arXiv cs.CL · arxiv.org