跳到正文
10月16日周五
  1. Comfy Blog74

    Black Forest Labs 发布 FLUX 3 Image Klein:5.6B 开源权重模型

    Black Forest Labs 发布 FLUX 3 Image Klein,这是 FLUX 3 家族中紧凑的开源权重模型,参数量 5.6B,保留大尺寸 FLUX 3 Image 的边界框等控制功能,并提供未蒸馏的 Base 版和低延迟的 Distilled 版。

    推荐理由:原文给出 5.6B 开源权重的量化加速数据与消费级 GPU 实测,可据此判断本地图像生成的成本变化。

  2. The Decoder78

    Black Forest Labs 发布开源权重图像模型 FLUX 3 Image Klein,8 GB 显存即可运行

    Black Forest Labs 发布 FLUX 3 Image Klein,这是一个 5.6B 参数的开源权重模型,支持文生图、图像编辑以及最多十张参考图生成,支持原生 4K 输出、像素级编辑和用于元素定位的边界框。

    同一新闻,精选展示《Black Forest Labs 发布 FLUX 3 Image Klein:5.6B 开源权重模型》

10月15日周四
  1. arXiv cs.AI27

    AVCE:面向扩散模型可验证概念擦除的审计感知遗忘框架

    针对文本到图像扩散模型的概念擦除方法,研究提出 AVCE 框架,将擦除锚定在模型潜空间中,审计每个概念的嵌入邻域并将脆弱方向压缩为锚点,再以闭式解编辑交叉注意力和自注意力投影。在 SD v1.5、SDXL 和 Flux 1.0 上,AVCE 将攻击成功率降低 5.07 倍、审计分数提升 3.84 倍,同时保持生成质量。

  2. arXiv cs.AI20

    用空间局部依赖替代条件独立假设:图像分割的 RankSEG 改进方法

    针对 RankSEG 依赖条件独立假设(CIA)而忽略标签相关性、在低对比度场景下性能下降的问题,研究者提出用空间局部依赖(SLD)结构替代 CIA,并配合互易矩近似与不动点优化策略,将复杂度从 O(d³) 降至 O(d log d)。新算法在多个分割基准上持续优于传统 argmax 和基于 CIA 的 RankSEG,在低对比度或小目标场景提升显著。

  3. arXiv cs.AI21

    从平扫 MRI 预测脑内示踪剂分布:直接回归与流匹配的对比

    研究用 104 例训练患者(878 个 MRI 体积)比较直接图像到图像回归模型与基于条件流匹配的生成模型,预测鞘内注射示踪剂在脑内的后期分布。直接模型在 23 例留出患者和 51 例特发性正常压力脑积水(INPH)队列中,将"直接复制平扫图像"的误差分别降低约 60% 和 25%,且预测变化图与观察到的示踪剂强化一致;生成模型在两个队列中精度均更低。

  4. arXiv cs.AI26

    HiLo-Token:面向高效图像编辑的输入自适应高低频 Token 压缩

    针对 DiT 在图像编辑中占平均 73% 延迟的问题,研究者提出输入自适应 Token 压缩框架 HiLo-Token,对高频富上下文区域分配更多 Token、低频区域分配更少。在 A100-80GB 上,小、中、大掩码比例(平均 6.38%、15.92%、35.36%)分别取得 3.13×、2.59×、1.67× 的 DiT 加速且生成质量无退化,生产环境中服务所需 GPU 减少 33%。

  5. arXiv cs.AI22

    PR-MaGIC:用掩码解码器梯度流优化提示词,实现上下文分割

    PR-MaGIC 是一个免训练的测试时框架,通过 SAM 掩码解码器的梯度流优化提示词,解决上下文分割中支持图像与查询图像视觉不一致导致的提示词质量不佳问题。该框架可无缝集成到现有上下文分割流程中,并采用简单的 top-1 选择策略稳定性能。大量评测显示,PR-MaGIC 在多个基准上持续提升分割质量,无需额外训练或修改架构。

  6. arXiv cs.AI22

    HybridStitch:面向高效扩散生成的 Token 自适应模型拼接

    HybridStitch 是一个免训练框架,通过 token 级反馈为每个更新选择提供模型的来源,在四个主要基准上实现图像生成提速 1.63–1.68 倍、扩散大语言模型(dLLM)吞吐量提升 1.15–1.58 倍。该方法让连续图像精修与离散语言承诺共享同一生成状态,并以模型专属 KV 缓冲为选定查询提供注意力上下文。dLLM 解码查询成本估计降低 50–66%,生成质量相当。

  7. arXiv cs.AI22

    Uni-RS:面向遥感的空间忠实统一理解与生成模型

    针对统一遥感多模态模型在文本到图像生成中难以忠实执行空间关系的"空间反转诅咒",研究者提出 Uni-RS,通过显式空间布局规划、空间感知查询监督和图像-字幕空间布局变换三项设计,将几何规划与视觉合成解耦。实验显示该方法在多个基准上大幅提升生成的空间忠实度,同时在图像描述、视觉定位和 VQA 等理解任务上保持强劲表现。

  8. arXiv cs.AI20

    快速 Diffusion-GAN 模型:生成带情感的符号音乐

    研究者提出一种 Diffusion-GAN 模型用于生成带情感符号音乐,通过将符号音乐表示为带力度值的类图像 pianoroll 并用变分自编码器获取潜在表示,绕开扩散模型处理离散数据的难题。该模型仅需 15 步去噪扩散即可生成高质量音乐,而多数符号音乐扩散模型需要数百甚至数千步,并成功实现对生成音乐情感的控制。

  9. arXiv cs.AI36

    RewardHarness:自进化智能体式后训练框架

    RewardHarness 是一个免训练、自进化的智能体奖励框架,将奖励建模重构为上下文演化而非权重优化,仅用 100 条偏好演示即可迭代演化工具与技能库。它仅使用 EditReward 偏好数据 0.05% 的规模,在 EditReward-Bench K=2/3/4 和 GenAI-Bench 上达到 47.4% 平均准确率,超过 GPT-5 达 5.3 个百分点。

  10. arXiv cs.AI22

    ShoeFit:面向虚拟鞋类试穿的新数据集与双图流 DiT 框架

    研究团队提出虚拟鞋类试穿框架 ShoeFit,并发布多视角鞋类试穿数据集 MVShoes,包含 7305 组标注图像三元组。ShoeFit 采用双流 DiT 架构,通过带 3D 旋转位置嵌入的多视角条件注入缓解视角错位,并用 LayeredRefAttention 借助背景特征调制鞋类隐变量以抑制背景导致的颜色失真。该工作已被 NeurIPS 2025 接收。

  11. arXiv cs.AI18

    LiFUSE:面向非增强 CT 肝病分析的频率-空间统一自监督预训练

    针对非增强 CT(NCCT)组织对比度低、难以识别肝脏病灶的问题,研究者提出 LiFUSE 自监督预训练框架,其频率分支用随机带阻掩码与频谱重建捕捉病灶与周围组织的细微差异,空间分支做混合粒度掩码体素重建以适配不同大小和形态的病灶,并通过跨域一致性方案耦合两个分支。

  12. arXiv cs.AI27

    H-DDCM:用 Hadamard 码本实现快速生成式图像与视频压缩

    H-DDCM 用隐式随机 Hadamard 字典替代高斯码本,实现免训练生成式图像与视频压缩,投影与重建仅需 O(d log d) 计算和 O(d) 内存。该框架还提出免查表字典序编码方案,并将方法适配到自回归视频流模型,通过周期性将近期重建帧重编码为新的 KV-cache 前缀,在单 GPU 上实现长时长、接近实时的生成式视频压缩。

  13. arXiv cs.AI27

    APT:面向文本生成图像的自反馈智能体后训练框架

    APT 是一个全自动后训练框架,通过协调三个智能体构建评测集、诊断模型能力短板,并按自适应提示词分布生成强化学习数据,让模型当前表现决定下一轮训练任务,形成递归自我改进式反馈闭环。针对无用户指定评测场景的通用设置,该研究还开发了可生成广泛多样评测集的评测工具。实验表明 APT 在多个基座模型、benchmark 和生成架构上均适用,具备模型无关、benchmark 无关、架构无关且全自动的特性。

  14. arXiv cs.AI25

    QK-Edit:重新审视 MM-DiT 中基于注意力的图像与视频编辑注入方法

    QK-Edit 是一个无需训练的框架,通过新的 query-key 操控策略利用 MM-DiT 的多模态自注意力动态,实现文本引导的图像与视频编辑。该方法支持物体添加、移除、替换、背景/材质/颜色更改和风格转换等任务,并可通过推理时的特征替换实现。在 FLUX 和 HunyuanVideo 等模型上,QK-Edit 展现出更优的编辑性能,该工作已被 ICCV 2025 接收。

  15. arXiv cs.AI23

    渐进式深度增长如何高效预训练自监督视觉 Transformer

    研究系统考察了渐进式深度增长在 MAE 和 DINOv3 两类自监督视觉 Transformer 中的效果:在全局与稠密任务上,该方法将训练 FLOPs 降低 13.9%–24.8%,ImageNet 线性探测准确率最高提升 3.36 个百分点。增长还改善了中间层表征,并重塑内部计算模式——MAE 中出现全局与局部注意力反复交替,自蒸馏 DINOv3 中局部到全局注意力的过渡提前出现。

  16. arXiv cs.AI29

    GenRevisit:让智能体学会回看历史图像的组合式图像生成框架

    GenRevisit 是一个智能体框架,将动作选择扩展为联合的延续状态与动作选择,让智能体可从交互历史中挑选图像候选再编辑,而非固定从最新图像继续优化。该框架采用 SFT 加智能体强化学习训练,并提出 Normalized Action Credit Assignment(NACA)解决 GRPO 中轨迹级优势分配过粗的问题。

  17. arXiv cs.AI36

    Unravel:从单张图像重建可交互 3D 场景

    Unravel 是一个免训练框架,能把单张图像转成每个物体都可独立移动的交互式 3D 场景。它先用视觉语言模型规划可见物体、由图像编辑器逐层移除并修复遮挡区域,再按移除的逆序重建场景,并以点云作为空间关系恢复的主要模态。在多种室内场景实验中,Unravel 比现有方法恢复出更多物体、摆放更忠实,场景物理合理性也更高。