Weighted Ensemble：面向语言模型稀有事件估计的免训练采样框架

Weighted Ensemble Sampling for Rare-Event Estimation in Language Models

AI 导读

Weighted Ensemble（WE）是一个免训练框架，用于估计语言模型稀有但严重失败事件的概率。它只从原始语言模型采样，通过周期性将采样预算重新分配给更可能到达目标稀有事件的前缀，并利用 LLM 内部表示作为前缀级信号来指导分配，无需额外学习提议分布。在覆盖小规模与大规模 LLM 的安全相关任务上，WE 提升了稀有事件概率估计的效率与可靠性。

正文 · AI 翻译

查看 PDF HTML（实验性）

摘要：大型语言模型罕见但严重的失败在部署规模下可能具有实际重大影响。用直接蒙特卡洛采样估计其概率效率极低，而基于提议的方法通常需要额外学习一个提议分布。我们提出 \textbf{加权集成（WE）}，一个用于语言模型稀有事件估计的免训练框架。WE 仅从原始语言模型采样，并通过周期性地将采样预算重新分配给看起来更可能到达目标稀有事件的前缀，改进了直接蒙特卡洛方法。为了在不学习单独提议分布的情况下指导这种重新分配，我们利用 LLM 内部表示作为前缀级信号，并实证验证了其有效性。我们对该算法进行了理论分析。涵盖小规模和现代大规模 LLM 的安全相关任务实验表明，WE 提高了稀有事件概率估计的效率和可靠性。

主题：	计算与语言（cs.CL）
引用为：	arXiv:2610.19202 [cs.CL]
	（或 arXiv:2610.19202v1 [cs.CL] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.19202 arXiv 颁发的 DOI 经由 DataCite（待注册）

提交历史

来自：Zixuan Liu [查看邮箱]
[v1] 2026年10月13日星期二 21:11:48 UTC（111 KB）

来源：arXiv cs.CL · arxiv.org