arXiv cs.AI· Heejun Kim, Seungpil Lee, Jewon Yeom, Jaewon Sok, Seonghyeon Park, Jeongjae Park, Taesup Kim, Sundong Kim·· 1 天前AI 评分34
随机嵌入注入如何提升 LLM 推理多样性：RSP 无需训练即可媲美优化软提示
From Noise to Diversity: Random Embedding Injection in LLM Reasoning
AI 导读
研究者提出 Random Soft Prompts（RSP），完全跳过训练步骤，将按预训练嵌入表均值和方差拟合的各向同性高斯采样出的随机嵌入向量序列追加到 LLM 输入，在多个数学推理基准上达到与优化软提示相当的准确率。
正文 · AI 翻译
摘要：近期的软提示研究试图通过向 LLM 输入中插入训练得到的向量来提升推理能力，然而收益究竟来自学习到的内容，还是来自注入这一行为本身，尚未被仔细区分。我们研究了随机软提示（RSPs），它完全舍弃训练步骤，向输入追加一段新抽取的随机嵌入向量序列。每个 RSP 向量均从各向同性高斯分布中采样，该分布的参数由预训练嵌入表逐元素均值和方差拟合得到；该序列不携带任何学习到的内容，却在多种设置下的数学推理基准上达到了与优化软提示相当的准确率。其机制分两个阶段展开：由于注意力必须吸收一个从未见过的随机位置，前几个生成 token 的分布变得平坦，推理轨迹随之分叉；随着生成继续，这种影响自然稀释，于是回答收敛到单一完成结果。我们表明，在推理阶段 RSPs 提升了早期 token 多样性，并与温度采样结合，拓宽了 Pass@N，即 N 次尝试中至少有一次正确的概率。除推理之外，我们将同样的效应引入 DAPO 训练并展示了实际收益。我们的贡献是：(i) RSP 隔离出软提示的最简形式——无需训练、重新采样——为注入的结构性效应提供了统一视角，而其他变体尽管在训练和形式上各异，却都共享这一效应；(ii) 对 underlying 机制的理论与实证验证；(iii) 从推理到训练的扩展。
| 评论： | NeurIPS 2026 ICML 2026 机制可解释性研讨会（Spotlight） |
| 主题： | 人工智能（cs.AI） |
| MSC 分类号： | 68T05, 68T50 |
| ACM 分类号： | I.2.7; I.2.6 |
| 引用为： | arXiv:2605.11936 [cs.AI] |
| （或 arXiv:2605.11936v3 [cs.AI] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2605.11936 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Heejun Kim [查看邮箱]
[v1]
2026年5月12日星期二 10:47:20 UTC（959 KB）
[v2]
2026年7月23日星期四 01:23:29 UTC（959 KB）
[v3]
2026年11月11日星期三 04:07:13 UTC（975 KB）
来源：arXiv cs.AI · arxiv.org