arXiv cs.AI· Steve Hanneke, Samory Kpotufe·· 11 小时前AI 评分20
迁移学习中的源数据与目标数据聚合价值：监督场景下的弱迁移与强迁移二分
Help Me Help You: The Aggregate Value of Source and Target Data in Transfer Learning
AI 导读
研究者在监督式迁移学习（目标域有标注数据）中识别出两种速率区间：弱迁移区间的最优速率仅由源数据或目标数据之一的信息决定，强迁移区间则可利用两者互补信息实现更快的目标域收敛。作者提出“弱/强迁移模数”细化相关性概念，刻画哪些分布对 P 与 Q 属于哪种区间，并据此重新分类现有算法，给出无需先验分布知识、在各区间均近最优的通用方法。
正文 · AI 翻译
摘要：回归或分类中的迁移学习，关注的是这样一类问题：旨在利用来自源分布 P 的不完美数据，来改进相对于目标分布 Q 的预测。尽管目前对该问题的无监督设定（即没有可用的带标签目标数据）已有较多理论理解，但带有标签目标数据的监督设定仍研究不足。
我们识别并刻画了监督设定下可达到速率中一个有趣的两分现象：存在一个弱迁移区域，其最优速率由源数据集或目标数据集中的信息决定，而非两者共同决定；以及一个强迁移区域，其中可达到快得多的目标速率，利用了源数据和目标数据中的互补信息。此外，尽管先前用于无监督设定的理论工具可以扩展以刻画弱迁移区域，但我们认为它们无法刻画强迁移区域，这是由于其依赖的各种相关性概念所固有的局限性。为此，我们对相关性概念进行了适当的细化——称为弱迁移模与强迁移模——从而揭示出这两个区域，并给出对哪些分布对 P 和 Q 遵循哪种区域的非平凡刻画。
最后，上述两分现象揭示了对现有算法方法的一种新分类，即按其在各监督区域中的最优性或非最优性来划分；并且我们提供了一种通用方法，它在所有区域中均保持近乎最优，且无需先验的分布知识。
| 评论： | 这是同一批作者于 2024 年以相同 arXiv 编号、不同标题先前发布在 arXiv 上的一项工作的修订版。当前版本经过修订，以更好地突出关键贡献。本工作未使用 AI。 |
| 主题： | 机器学习（stat.ML）；人工智能（cs.AI）；机器学习（cs.LG）；统计理论（math.ST） |
| 引用为： | arXiv:2408.16189 [stat.ML] |
| （或 arXiv:2408.16189v4 [stat.ML] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2408.16189 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Steve Hanneke [查看邮箱]
[v1]
2024 年 8 月 29 日星期四 01:02:40 UTC（32 KB）
[v2]
2025 年 4 月 28 日星期一 03:15:44 UTC（242 KB）
[v3]
2026 年 9 月 25 日星期五 23:49:00 UTC（252 KB）
[v4]
2026 年 10 月 20 日星期二 01:20:19 UTC（252 KB）
来源：arXiv cs.AI · arxiv.org