跳到正文
Hacker News· dmarcos·· 9 天前AI 评分60

Speridlabs 发布像素空间生成模型 Iris-3B

Iris-3B: Pixel-space generative open model. Can act as a general vision learner

AI 导读

Speridlabs 发布 Iris-3B,一个 3B 的 flow-matching transformer,直接生成原始 RGB 像素,无需 VAE 参与,可充当通用视觉学习器。

正文 · AI 翻译

像素空间生成与通用视觉学习器

Iris-3B 是一个像素空间生成模型,可作为通用视觉学习器。在像素空间中工作,它绕过了 VAE 的有损压缩以及有偏的、以纹理为中心的潜变量。我们展示了图像生成器可以取代 DINOv2 等视觉模型,发布了我们的像素空间扩展配方,并将生成先验应用于细节至关重要的密集任务。

Hanqiu Li Cai†Chema GarabitoSperidlabs · † 项目负责人

02 — 图库

图库

03 — 架构

架构

一个 3B 流匹配 transformer,直接生成原始 RGB 像素,循环中无 VAE。

Iris-3B architecture

FIG. 02 — 架构主干 · PiT 头 · 主干块

图像被切成 16 × 16 像素的图块。主干有 8 个双流块,文本和图像权重分开,随后是 16 个单流块。

一个小型像素 transformer(PiT)头将每个图块 token 解码回像素。文本来自冻结的 Qwen3-VL-4B 编码器,2D RoPE 让一组权重可在任意分辨率和宽高比下运行,最高达一百万像素。

04 — 基准测试

基准测试

在每个官方基准测试上都能与最先进的潜变量模型竞争,而训练算力仅为其一小部分。

模型GenEvalDPGLongTextOneIG
SDXL—74.65—0.316
SD3 Medium0.6284.08——
FLUX.1-dev 12B0.6683.80.6070.434
SD3.5 Large0.71——0.462
Lumina-Image 2.00.7387.20—0.353
Janus-Pro-7B0.8084.190.0190.267
HiDream-I1-Full0.8385.890.5430.477
Z-Image 6B*0.8488.10.9350.546
Qwen-Image 20B0.8788.30.9430.539
Iris-3B0.79886.520.8570.540

Iris-3B:官方评估器在 1024² 下,无提示重写,无 best-of-N。参考文献来自 Qwen-Image 和 Z-Image 报告;— 未报告;* 使用提示重写。

05 — 下游

下游

Iris-3B 针对下游任务进行了调优。

05.A

深度

从预测深度生成的点云 · 拖动旋转,滚动缩放

05.B

图像修复 / 超分辨率

06 — 引用

引用本工作

@article{licai2026iris,
  title   = {Iris-3B: Going Beyond the Latent with Pixel-Space
             Diffusion Training, Conversion and Fine-Tuning},
  author  = {Li Cai, Hanqiu and Garabito, Chema},
  journal = {arXiv preprint arXiv:2610.09450},
  year    = {2026},
  url     = {https://arxiv.org/abs/2610.09450}
}

来源:Hacker News · speridlabs.com