arXiv cs.AI· Xiahui Zhu, Zhenyi Qi, Wanwei Liu, Haoang Chi, Yang Tan, Xinyu Sun, Ji Wang·· 3 天前AI 评分27
自回归解码的鞅性质：刻画 LLM 生成的随机动力学
Autoregressive Decoding as a Martingale: Characterizing the Stochastic Dynamics of LLM Generation
AI 导读
研究者将自回归解码的每步预测误差定义为采样 token 指示变量与模型条件预测分布之差，证明其累积误差过程关于解码滤波是鞅，条件一阶矩恒为零。该鞅序列的可预测二次变差可化简为 $\sum_t(1-p(y_t\mid y_{<t}))$，仅凭已实现的 token 概率即可计算。在 Llama-3.x 与 Qwen2.5 系列（1B 至 72B 参数）上的白盒实验显示，实测二阶矩与理论预测高度吻合。
正文 · AI 翻译
摘要：大语言模型（LLM）在广泛的各类语言任务中取得了显著成功。其核心是，自回归 LLM 是条件概率模型，学习在给定前文的情况下近似下一 token 的分布。尽管具有这种概率性质，自回归解码的随机动力学却很少从严格的概率视角加以研究。在这项工作中，我们将每步预测误差定义为采样 token 指示变量与模型条件预测分布之间的差异，并证明累积误差过程关于解码滤流是一个鞅，这意味着其条件一阶矩恒为零。除这一阶性质外，我们还推导出该鞅序列二阶行为的闭式表达式：其可预测二次变差简化为 $\sum_t\left(1-p(y_t\mid y_{<t})\right)$，仅凭已实现的 token 概率即可计算。这一恒等式在自回归解码过程中建立了序列波动与预测不确定性之间的直接理论联系。在 Llama-3.x 和 Qwen2.5 系列（1B 至 72B 参数）上的白盒实验验证，经验测得的二阶矩与由我们的鞅分析得出的理论预测高度吻合。这些结果为分析自回归 LLM 解码提供了概率框架，揭示了不同语言模型内在的概率指纹，并为 LLM 生成文本检测和不确定性量化奠定了严格的数学基础。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.16041 [cs.LG] |
| （或 arXiv:2610.16041v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16041 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Xiahui Zhu [查看电子邮件]
[v1]
2026年10月12日星期一 01:31:31 UTC（2,216 KB）
来源：arXiv cs.AI · arxiv.org