arXiv cs.AI· Biao Xiang, Ali Eshragh, Yuexing Li, Kai Wang·· 9 天前AI 评分13
面向离策略评估的预算化多源反事实标注
Budgeted Multi-Source Counterfactual Annotation for Off-Policy Evaluation
AI 导读
研究针对上下文赌博机离策略评估（OPE）中反事实标注的预算化获取问题，在给定各来源成本与误差特征下，将标注分配建模为上下文-动作对与标注来源上的整数规划问题，以最小化依赖标注方案的估计量方差分量。
正文 · AI 翻译
摘要：离策略评估（OPE）从日志数据中估计目标策略的价值，但行为策略覆盖有限可能迫使采用高方差重加权或奖励模型外推。反事实标注可以增加关于未观测动作的证据，然而包括领域专家和大语言模型（LLM）在内的实际来源可能成本高昂、存在偏差或含有噪声。我们研究面向上下文赌博机 OPE 的此类标注的预算化获取。给定各来源特定的成本和错误特征，我们将其形式化为一个关于上下文-动作对和标注来源的整数分配问题，以最小化估计器方差中依赖于标注方案的分量。我们通过首次标注阈值和局部标注价值区间刻画了标注何时有价值。对于耦合的多源问题，我们开发了一种带有动态规划子程序的优化-最小化算法，该算法单调地改进目标。在合成临床和 LLM 标注的教育赌博机上的实验表明，与无标注相比，我们的分配方法分别将固定特征均方误差（MSE）降低了 20.58% 和 10.77%。
| 评论： | 已被 NeurIPS 2026 接收。代码见 此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；优化与控制（math.OC） |
| 引用为： | arXiv:2610.10974 [cs.LG] |
| （或 arXiv:2610.10974v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.10974 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Biao Xiang [查看邮箱]
[v1]
2026年10月7日星期三 22:55:15 UTC（662 KB）
来源：arXiv cs.AI · arxiv.org