arXiv cs.AI· Vikram Kakaria, Anish Kataria, Anany Kotawala·· 10 天前AI 评分22
用 LLM 推导的协方差做相关 Thompson 采样：组合半臂老虎机中的结构与信念
Structure, Not Belief: Correlated Thompson Sampling from LLM-Derived Covariance in Combinatorial Semi-Bandits
AI 导读
研究者提出一种组合 Thompson 采样（CTS）的最小改动：用 LLM 查询一次臂的分区，经 RBF 核在簇排名上转成正定相关矩阵 Σ，每轮后验样本按 Σ 采样，而 Beta 后验仍只用真实奖励更新，让 LLM 影响采样器的移动方式而非其信念。
正文 · AI 翻译
摘要：组合 Thompson 采样（CTS）为每个臂独立抽取后验样本，因此其探索动态忽略了臂之间的任何关系。我们研究了对这些动态的一个最小改动：向 LLM 查询一次以获得臂的一个划分，该划分通过基于簇排名的 RBF 核变为一个正定相关矩阵 $\Sigma$，每轮的后验样本以协方差 $\Sigma$ 抽取，而 Beta 后验仅根据真实奖励更新，因此 LLM 塑造的是采样器如何移动，而非它相信什么。我们为理想化高斯采样器给出了一个自包含的贝叶斯遗憾界，其信息增益分解为来自 $K$ 簇结构的 $K\log T$ 项和一个增长至 $d\log T$ 的岭项：相对于独立采样的 $\sqrt{d/K}$ 改进是一个有限时域的瞬态，仅当簇内相关性趋于 1 时才精确成立。在 $T=2{,}500$ 时，相关采样器在 16 个合成 Bernoulli 族上将遗憾较 CTS 降低 19%（在 $T=25{,}000$ 时使用数据自适应核为 6-7%），在 Microsoft MIND-small 新闻基准（$d=200$ 篇真实文章）上降低 41%，而伪观测热启动毫无帮助。一项无 LLM 的消融实验，使用质量可控的模拟 oracle，表明在非结构化实例上，增益是核形状的性质（随机划分，或对采样噪声的简单退火，都能复现该增益），而在匹配 oracle 质量下注入信念从无帮助。
| 评论： | 15 页。已被 DynaFront 2026 接收（海报）：Dynamics at the Frontiers of Optimization, Sampling, and Games，NeurIPS 2026 Workshop |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；机器学习（stat.ML） |
| 引用为： | arXiv:2610.07470 [cs.LG] |
| （或 arXiv:2610.07470v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07470 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Vikram Kakaria [查看电子邮件]
[v1]
2026 年 10 月 5 日星期一 22:35:58 UTC（203 KB）
来源：arXiv cs.AI · arxiv.org