arXiv cs.AI· Rohan Deb, Mohammad Ghavamzadeh, Arindam Banerjee·· 12 小时前AI 评分20
保守上下文对决赌博机：基线约束下的偏好学习
Conservative Dueling Bandits: Preference Learning under Baseline Constraints
AI 导读
研究提出保守上下文对决赌博机设定，要求每轮展示中较优选项的累积得分不低于可信基线的 (1-α) 比例，且约束仅依赖效用差、无需绝对奖励。针对线性效用提出 MaxInP-BC，全程高概率安全，遗憾为 Õ(d√T/κ) 加不随轮数增长的保守代价；针对一般效用类提出 BTIGW-BC，将在线逻辑回归 oracle 的保证转为累积安全证书，回退次数有限且遗憾次线性。
正文 · AI 翻译
摘要：上下文对决赌博机从成对比较中学习，这种反馈与根据人类偏好微调语言模型时所用的反馈相同。标准算法会进行激进的探索，可能向用户展示两个较差的选项。我们研究保守的上下文对决赌博机，它要求每一轮中较优展示项的累计得分保持在可信基线得分的 $(1-\alpha)$ 比例之上。一个项的得分是其击败当前最佳可用项的概率，因此该约束仅依赖于效用差，不需要绝对奖励。这也改变了安全性的认证方式：我们表明，原样移植保守赌博机算法 CLUCB 的安全测试可能带来线性遗憾，即使基线的效用完全已知。对于线性效用，我们开发了 MaxInP-BC，它通过效用差距来认证得分，并且在必须回退时，将基线与一个信息量大的伙伴配对，使回退轮次仍能驱动学习。它以高概率始终安全，遗憾为 $\tilde{O}(d\sqrt{T}/\kappa)$，外加一项不随视界增长的保守性附加成本。对于一般效用类，我们开发了 BTIGW-BC，它将在线逻辑回归 oracle 的保证转化为累计安全证书。它始终安全，回退次数有限，并且只要该 oracle 的逻辑遗憾是次线性的，就具有次线性遗憾。在实验中，两者都满足约束（其无约束对应算法常常违反该约束），代价是遗憾适度增加。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；机器学习（stat.ML） |
| 引用为： | arXiv:2610.36708 [cs.LG] |
| （或 arXiv:2610.36708v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36708 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Rohan Deb [查看电子邮件]
[v1]
2026年10月27日星期二 06:25:04 UTC（317 KB）
来源：arXiv cs.AI · arxiv.org