arXiv cs.AI· Alessandro Pereira, Keith J Ransom, Lewis Mitchell·· 10 小时前AI 评分31
冻结专家组合何时该用预测、何时该用特征？NeurIPS 2026 提出统一评测协议
When Are Predictions Enough? An Evaluation Protocol for Frozen Expert Composition
AI 导读
研究者提出一套可复用的评测协议，用于公平比较"组合预测"与"组合特征"两种冻结专家融合方式，并在 DF40 的 21 个深度伪造检测器上实测。在留一生成器评估下，对 6 个架构多样专家的特征做逻辑回归，宏 AUROC 比最佳预测组合器每折高 0.081，8 个生成器中 7 个有提升；约 3.5M 参数的大网络相对 10K 参数线性模型无明显改进。
正文 · AI 翻译
摘要：从业者通常会将独立训练的模型组合起来，同时保持其权重冻结。这些专家模型通常通过其最终预测进行组合，尽管它们的内部特征可能保留着这些预测所遗漏的有用信息。我们探究在何种情况下组合特征优于组合预测，以及如何使这一比较公平。我们引入了一个可复用的评估协议，将其应用于 DF40（Yan 等，2024）中的 21 个冻结深度伪造检测器，并审查评估选择如何改变结论。该协议使用强预测基线，比较简单与更大的特征组合器，分别改变架构和训练数据，并按留出生成器报告结果，同时控制训练/测试重叠。在留一生成器评估下，对六个架构多样专家的特征进行逻辑回归，在每个折中比最佳测试预测组合器的宏 AUROC 提高 0.081，在八个生成器中的七个上均有提升。更大的网络相比线性模型没有明显改进（约 350 万参数对 1 万参数），表明在该池上，获取更丰富的信息比增加组合器容量更重要。当特征保留了预测所遗漏且可迁移到新生成器的信息时，特征可能有帮助。当最强预测基线已经表现良好时，预测可能就足够了，而两种方法都无法可靠地弥补专家迁移不佳的问题。在受重叠影响的标准划分上削弱预测基线，会将表观特征优势最多夸大 0.172 AUROC。重叠感知评估也会改变估计增益，尽管这种对比并未隔离重叠。按生成器和专家池的结果显示了优势在何处保持、减弱或反转。没有这些控制，同一基准可以支持不同的结论。
| 评论： | 已被接收，NeurIPS 2026，E&D track，海报 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| MSC 分类号： | 68T07（主），68T45（次） |
| 引用为： | arXiv:2611.13356 [cs.LG] |
| （或 arXiv:2611.13356v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13356 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Alessandro Pereira [查看邮箱]
[v1]
2026年11月9日星期一 23:30:52 UTC（827 KB）
来源：arXiv cs.AI · arxiv.org