arXiv cs.AI· Hanming Yang, Daksh Mittal, Jing Dong, Hongseok Namkoong·· 1 天前AI 评分38
通过迭代去对齐估计稀有事件概率
Rare Event Estimation via Iterative Unalignment
AI 导读
研究者提出一种新的重要性采样（IS）方法，通过扰动原模型权重构建可微参数化的语言模型提案，实现权重空间上的梯度搜索，用于估计智能体随机输出轨迹中的稀有事件概率。在约 120M 和约 2.6B 模型、覆盖 300+ 个低至 10⁻⁹ 的稀有事件上评估，对概率低于 10⁻⁷ 的事件，其 IS 估计器平均比朴素蒙特卡洛获得超过 800 倍的计算加权效率提升。
正文 · AI 翻译
摘要：随着智能体以更高的自主性部署，即使其随机输出轨迹上极其罕见的事件也可能发生并造成灾难性后果。因此，安全部署并不取决于这些事件是否可能发生，而取决于它们可能发生的频率。我们研究估计由智能体自身动作的随机变化所引起的罕见事件概率的问题。估计此类风险需要在组合上极其庞大的轨迹空间中进行搜索。朴素蒙特卡洛方法在此情形下计算上不可行，而构建有效的的重要性采样（IS）提议需要对依赖于上下文的、由条件分布构成的链进行协调修改。我们开发了一种新的 IS 方法，通过扰动原模型的权重来构建提议分布。该提议本身是一个可微参数化的语言模型，从而支持在权重空间中进行基于梯度的搜索。我们制定了一个目标函数，它结合了用于事件放大的可微代理以及一种自适应正则化方案，该方案动态地平衡放大与估计器稳定性。我们在 $\sim$1.2 亿和 $\sim$26 亿参数的模型上评估了我们的方法，涵盖三个事件族、300 多个低至 $10^{-9}$ 的罕见事件，所有这些事件均具有独立估计的参考概率。在我们最可验证的设置中，我们观察到，对于概率低于 $10^{-7}$ 的事件，我们的 IS 估计器相比朴素蒙特卡洛平均实现了超过 $800\times$ 的计算加权效率提升。我们的实现可在 此 https URL 获取。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.24969 [cs.LG] |
| （或 arXiv:2609.24969v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.24969 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Hanming Yang [查看电子邮件]
[v1]
2026 年 9 月 21 日星期一 17:53:38 UTC（2,918 KB）
[v2]
2026 年 11 月 12 日星期四 04:59:13 UTC（2,905 KB）
来源：arXiv cs.AI · arxiv.org