arXiv cs.AI· Tian Bai, Ying Jin·· 12 小时前AI 评分18
OptCS：数据驱动评分构建后仍可控制 FDR 的共形选择框架
Optimized Conformal Selection: Powerful Selective Inference After Data-Dependent Score Construction
AI 导读
研究者提出 Optimized Conformal Selection（OptCS）框架，允许在灵活的数据驱动评分构建之后仍进行有效的多重检验，并在大量数据复用下保持有限样本 FDR 控制。该框架给出三种控制 FDR 的流程：从多个候选中挑选强评分函数、不做样本划分用全部标注数据训练评分、以及结合全样本训练与模型选择。方法在模拟研究及药物发现和大语言模型的实际应用中验证了有效性。
正文 · AI 翻译
摘要：我们研究保形选择中的数据驱动评分构建，该方法使用保形 p 值和多重检验，从无标签数据池中选出具有较大未观测标签的“有趣”实例，同时在有限样本下控制 FDR。现有解决方案要求评分函数的构建独立于校准数据和测试数据，而在面对众多评分选择且标注数据有限时，人们希望以数据驱动的方式选择或构建强大的保形评分，并利用所有标注数据进行评分训练。我们提出优化保形选择（OptCS），这是一个通用框架，允许在灵活的数据驱动评分构建之后进行有效的多重检验。我们引入了通用条件，在这些条件下，OptCS 尽管存在大量数据复用，仍能构建有效的保形 p 值，并处理复杂的 p 值依赖关系以维持有限样本 FDR 控制。我们将这一通用方案实例化，提出三种控制 FDR 的流程，每种流程以不同方式优化模型：(i) 从多个候选中选择一个强大的评分函数，(ii) 在不进行样本拆分的情况下用所有标注数据训练评分，(iii) 结合全样本训练与模型选择。我们通过模拟研究以及在药物发现和大语言模型中的实际应用，证明了我们方法的有效性。
| 主题： | 方法论（stat.ME）；人工智能（cs.AI）；机器学习（cs.LG）；机器学习（stat.ML） |
| 引用为： | arXiv:2411.17983 [stat.ME] |
| （或 arXiv:2411.17983v2 [stat.ME] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2411.17983 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Tian Bai [查看电子邮件]
[v1]
2024年11月27日星期三 01:40:50 UTC（1,972 KB）
[v2]
2026年10月21日星期三 06:51:07 UTC（2,383 KB）
来源：arXiv cs.AI · arxiv.org