RINO：无标签重整化群蒸馏，用多尺度结构做高能物理自监督预训练

查看 PDF HTML（实验性）

摘要：高能物理（HEP）中的监督机器学习需要在粒子碰撞的标记模拟数据上进行训练，而这些模拟数据已知与底层物理不符。这导致训练好的模型迁移到真实数据时出现显著的不准确性和偏差，限制了深度学习方法的效力。自监督学习（SSL）是一种有前景的替代方案，可直接在真实的未标记数据上进行预训练。然而，现有技术大多采用受图像和自然语言等领域启发的归纳偏置。我们提出 RINO（Renormalization Group DIstillation with NO Labels，无标签重整化群蒸馏），它首次利用高能喷注形成的基本多尺度重整化群结构，作为具有物理基础的 SSL 视图来源。我们使用不同层次的层次聚类定义跨能量尺度的教师-学生表示，并通过 DINO 风格的自蒸馏进行对齐。为模拟真实对撞机数据以背景为主导的特性，RINO 仅在量子色动力学（QCD）过程的喷注上进行预训练，并在对稀有信号类别的分布外（OOD）迁移上进行评估。在我们的受控数据效率研究中，RINO 仅在 1% 的标记数据上微调后，就达到了与 JetNet 上完全监督训练相当的水平。使用完整标记数据集时，RINO 将顶夸克喷注的 OOD 分类准确率提高了 5.9%，并且无需重新训练，就将未见过的希格斯玻色子衰变通道 $H \to 4q$ 的 AUC 相比最强的 SSL 基线提高了 4.1%。尺度结构诊断表明，DINO 风格的自蒸馏使我们的骨干网络能够保留尺度相关结构。消融研究表明，这解释了与 SimCLR 等替代 SSL 范式之间 8.6% 的 OOD 准确率差距。代码可在 此 https URL 获取。

提交历史

来自：Zichun Hao [查看电子邮件]
[v1] 2026年10月11日星期日 21:03:00 UTC（240 KB）