arXiv cs.AI· Vicente Balmaseda, Ching-Long Lin, Tianbao Yang·· 9 天前AI 评分24
SCION：无需预训练，从像素同时学习生成与自监督表征
From Pixels, Without Pre-training: Joint Generative and Self-Supervised Representation Learning in One Model
AI 导读
SCION 在单一模型中联合进行生成与自监督表征学习，无需标签或预训练模型。其核心是像素空间编码器，通过流时间步与嵌入条件化，并用梯度范数平衡与 stop-gradient 实现一次训练。
正文 · AI 翻译
摘要：强大的图像生成模型以类别标签为条件、对齐到冻结的预训练编码器，或构建在单独训练的自编码器之上。这些方法虽然有效，但生成依赖于监督或预训练：标签必须被标注，编码器或自编码器必须为目标领域预训练。我们在单一模型中研究联合生成与自监督表示学习，实现无需标签或预训练模型的自条件生成。这具有挑战性，因为目标不匹配：对比学习使用干净的增强视图，偏好粗粒度、不变语义，而流匹配使用噪声图像，必须保留对比学习丢弃的精细细节和空间布局。我们提出 SCION（Self-conditioned Generation on Self-supervised representation），其核心是一个以流时间步和嵌入为条件的单一像素空间编码器。对于表示学习，该条件嵌入是一个跨图像共享的可学习全局向量，编码器的 [CLS] token 产生由对比损失训练的语义表示。对于生成训练，条件嵌入是图像自身的 [CLS] 表示，而 patch token 通过解码器预测图像。为了在推理时无需参考图像进行采样，我们联合学习嵌入上的先验。梯度范数平衡和停止梯度机制使联合优化能在一次运行中完成。SCION 是自监督且自包含的，无需标签或预训练模型。在 ImageNet 256x256 上，使用 JiT-B 配方且无表示引导，SCION 达到 8.92 FID，超过类别无条件 iREPA（对齐到预训练 DINOv2，46.44）和以其为条件的 RCG（14.27）。使用 JiT-L，SCION 在无引导下达到 5.89 FID，在有表示引导下达到 3.47，优于使用 ADM 配方的 RCG（6.24）。
| 学科： | 机器学习 (cs.LG)；人工智能 (cs.AI)；计算机视觉与模式识别 (cs.CV)；机器学习 (stat.ML) |
| 引用为： | arXiv:2610.05711 [cs.LG] |
| （或 arXiv:2610.05711v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.05711 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Vicente Balmaseda [查看邮箱]
[v1]
2026年10月5日星期一 02:51:03 UTC (20,250 KB)
来源：arXiv cs.AI · arxiv.org