arXiv cs.AI· Francesco I. Re, Shubhangi Ghosh, Tim Vieira, Ryan Cotterell·· 9 天前AI 评分20
利用势函数高效估计自回归语言模型下的期望值
Estimating Great Expectations Under Autoregressive Language Models with Potentials
AI 导读
研究者提出用势函数（prefix 上的实值函数）分解测试泛函，利用采样时附带产生的下一 token 条件概率来降低自回归语言模型期望估计的方差。该方法给出了势函数降低方差的条件，并为多种估计目标设计了实用势函数，在相当计算成本下实现了显著方差缩减。
正文 · AI 翻译
摘要：语言模型的许多应用并不取决于单个样本，而是取决于模型下测试泛函的期望。可靠地估计此类期望可能在计算上代价高昂。在本文中，我们展示了如何通过利用采样副产物中可得的下一词条件概率来使估计更高效。我们通过势函数来实现这一点：定义在前缀上的实值函数，可将测试泛函加性分解。我们构造了一个估计量，其方差取决于所选的势函数，并推导出势函数降低该方差的条件。随后，我们为若干估计量和应用开发了实用的势函数，并在相当的计算成本下展示了若干估计量上方差的显著降低。
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG）；方法论（stat.ME） |
| 引用为： | arXiv:2610.11399 [cs.AI] |
| （或使用 arXiv:2610.11399v1 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.11399 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Francesco Ignazio Re [查看电子邮件]
[v1]
2026年10月8日星期四 07:30:43 UTC（1,809 KB）
来源：arXiv cs.AI · arxiv.org