arXiv cs.AI· Weixin Wang, Haoyang Zheng, Guang Lin, Wei Deng, Pan Xu·· 3 天前AI 评分17
从随机逼近视角重新思考 Langevin Thompson Sampling：TS-SA 方法
Rethinking Langevin Thompson Sampling from A Stochastic Approximation Perspective
AI 导读
研究者提出 TS-SA，将随机逼近（SA）引入 Thompson Sampling 框架，每轮仅用新观测奖励执行一次 Langevin 更新，并通过 SA 更新融合噪声提议与当前参数估计。
正文 · AI 翻译
摘要：用于多臂老虎机的基于 Langevin 的 Thompson 采样（TS）方法在精确采样难以处理时，利用似然梯度来近似后验样本。随着新奖励的到来，后验会发生变化，这些方法会运行一条内部马尔可夫链来近似更新后的目标。为简化这种重复采样过程，我们提出了 TS-SA，它将随机逼近（SA）融入 TS 框架。在每一轮中，TS-SA 利用新观测到的奖励执行一步 Langevin 更新，并应用 SA 更新将带噪提议与当前参数估计相结合。通过在各轮之间保留该估计，TS-SA 为每个臂维护一条持续运行的马尔可夫链，从而保留过去观测的影响，而无需再次存储或采样它们。在此递归中，提议步长在各轮之间保持固定，而 SA 权重随着观测的累积而减小，以控制噪声对估计的影响。这种持续链的表述简化了理论分析，使我们能够在对数凹性和平滑性假设下，以每个新奖励一次更新的方式，建立接近最优的最坏情况遗憾界 $\widetilde{\mathcal O}(\sqrt{KT})$。我们的实验进一步表明，TS-SA 在初始预热后使用单步 Langevin 更新，相较于标准基线取得了强劲的性能。
| 评论： | 35 页，5 幅图，1 张表 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；机器学习（stat.ML） |
| 引用为： | arXiv:2510.05023 [cs.LG] |
| （或 arXiv:2510.05023v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2510.05023 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Pan Xu [查看电子邮件]
[v1]
2025年10月6日星期一 17:01:29 UTC（2,256 KB）
[v2]
2026年10月9日星期五 20:02:18 UTC（2,363 KB）
来源：arXiv cs.AI · arxiv.org