arXiv cs.AI· Shiqi Zhang, Tuomas Virtanen·· 14 小时前AI 评分18
伪标签该与标注样本共享 mini-batch 吗？SSCAL 在有限训练成本下的半监督持续主动学习
Should Pseudo-Labels Share Mini-Batches with Labeled Examples? Semi-Supervised Continual Active Learning with Limited Training Cost
AI 导读
SSCAL 首次将半监督持续主动学习中的伪标签问题形式化为两个决策：哪些无标注样本带伪标签进入训练，以及它们占每个 mini-batch 的比例。该方法按无标注样本到标注近邻的距离接纳伪标签、限制其占比，并重加权标注样本损失以保持期望梯度贡献不变，在冻结嵌入上伪标签器可增量更新且无需额外前向。
正文 · AI 翻译
摘要：主动学习（AL）通过查询信息量大的样本来减少标注。持续主动学习（CAL）还通过在每个 AL 轮次中训练一个模型、每轮使用固定数量的小批量步骤，来降低训练成本，即梯度步骤总数。伪标签无需标注即可增加监督，但会增加训练成本。在 CAL 中，每轮都在固定数量的小批量上训练，因此伪标签样本是否以及如何与标注样本共享这些小批量仍是一个开放问题。我们首次将这一问题形式化为每次查询后的两个决策，即 (i) 哪些未标注样本应带着伪标签进入训练，以及 (ii) 它们应在每个小批量中占多大比例。我们的方法，半监督持续主动学习（SSCAL），可与任何采集函数配合使用。它基于未标注样本到标注邻居的距离来接纳伪标签，限制其占比，并对标注样本上的损失重新加权，以保持其期望梯度贡献不变。在冻结嵌入上，其伪标签器可增量更新，无需额外的模型前向传播。在两个音频数据集、两个冻结编码器、六种采集函数和十个随机种子上，SSCAL 在训练步数相同的四种协议中平均排名第一，从而对该问题给出了肯定回答。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；声音（cs.SD）；音频与语音处理（eess.AS） |
| 引用为： | arXiv:2610.35345 [cs.LG] |
| （或 arXiv:2610.35345v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.35345 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shiqi Zhang [查看电子邮件]
[v1]
2026年10月26日星期一 12:37:21 UTC（54 KB）
来源：arXiv cs.AI · arxiv.org