用于全景街道分割的 Vision Transformer 集成方案
该论文介绍了在 2026 年 10 月 5 日排行榜快照中夺得 PalmCity 挑战赛第一名的系统方案。研究在近似相等的计算预算下对比了九种预训练分割系统,包括 DeepLabV3+、SegFormer、UPerNet、Mask2Former、带线性解码器的 DINOv3,以及使用 DINOv3 的 Encoder only Mask Transformer。
该论文介绍了在 2026 年 10 月 5 日排行榜快照中夺得 PalmCity 挑战赛第一名的系统方案。研究在近似相等的计算预算下对比了九种预训练分割系统,包括 DeepLabV3+、SegFormer、UPerNet、Mask2Former、带线性解码器的 DINOv3,以及使用 DINOv3 的 Encoder only Mask Transformer。
AI 图像生成中「美女」成为默认值,源于模型学习数据分布时天然趋向「平均脸」,而平均脸恰好符合人类审美偏好。1973 年 Lena 照片成为图像处理行业默认测试图,如今 Civitai 上 NSFW 图片占比从 2023 年 1 月的 41% 升至 2024 年 12 月的 80%,Grok 的 Spicy 模式则把这种偏好直接做成了付费功能。
研究将"最小变更"原则作为基于指令图像编辑的优化目标,指出潜空间 L1 正则化在现代非线性生成器中难以有效约束输出局部性,且通常需要大规模场景下无法获得的监督信号。为此改用强化学习直接优化编辑结果,由一个智能体式视觉语言奖励模型审查源图、指令与编辑后图像,检测两类失败类型。
研究者提出 Jacobian Lens Distance(JLD),从冻结的视觉编码器而非人类标注中推导感知几何,用于衡量两幅图像在人眼中的差异。JLD 结合了早期 patch 的局部性,而依赖人类判断拟合的 DISTS 在图像分辨率翻倍时,与 TID2013 人类评分的相关性从 0.815 降至 0.717。
开发者发布了一款类似 Instagram 的照片分享应用,每张照片都有"保质期"——可以存活一年、一小时或十分钟,也可以设定在被浏览 100 次、1000 次或一百万次后消失。存活期间照片会逐渐褪色,用户选择的滤镜随生命周期逐步加深遮蔽效果,到期后照片消失但评论保留。该应用基于 Replit 构建,是一次关于数字持久性与稀缺性的实验。
研究提出 Weave Mamba Fusion,用状态空间模型 Mamba 将两个金字塔尺度合并为单一特征图并做序列扫描,以线性复杂度建模全局跨尺度依赖,弥补 FPN、BiFPN 等局部融合在小型、遮挡、极端姿态人脸检测上的不足。该方法定位为轻量人脸检测方案。
研究提出 CACFG(曲率感知无分类器引导),将无分类器引导(CFG)与最优控制理论联系起来。CFG 可在不同引导强度下应用,强度越高图像质量与条件对齐越好,但过高会损害图像质量与多样性,且 CFG 违背了有原则的扩散采样动力学。
研究者提出 Level-of-Token(LoT)Diffusion,通过显式的多分辨率 token 布局(Level-of-Token layout)为图像和视频扩散模型自适应分配算力,在需要细节处使用更细的 token、在其余区域使用更粗的 token。该框架利用生成前即可预测的细节空间分布来减少计算量,token 对应不同尺寸和形状的矩形 patch。
针对遗忘后扩散模型中被抹除概念未知的问题,研究者提出 Tracer 框架,可快速准确地识别出模型中被抹除的概念并统计其总数。现有攻击方法都假设被抹除概念已知、只专注于恢复,而 Tracer 直接回答"哪些概念被抹除、共抹除了多少"这一被忽视的问题。
研究者提出 Loop Flow Transformers(LiFT),通过反复应用共享的 Diffusion Transformer(DiT)核心来扩展计算量,对标准架构仅做轻微改动。LiFT 让每个循环步骤只回归一个目标:从模型初始估计到 flow-matching 目标的直线路径上的一点,并以连续深度坐标索引这些目标,使训练后的模型无需重训练或早退即可循环远超训练深度。
研究对生成模型评测中通用的 Fréchet 距离提出方向性分解,以解释单一标量值背后的比较来源。在 COCO 数据集上,增加扩散采样步数会提升 ImageReward 分数,却使 FID 变差(升高),说明该标量视角会掩盖驱动比较的因素。
一项研究通过单主动式协同涂鸦系统 Froggi-Draw 探讨与 AI 共创时创作边界的协商如何触发个人创作反思,用户可自行决定 AI"协作者"Froggi 何时以及以多大程度参与绘画。为期 1 周、8 名新手与资深画家的试点研究中,参与者每天使用该系统涂鸦,研究记录了他们在创作风险与不确定性中的应对方式,以及随时间推移对 Froggi 的使用与看法变化。
针对扩散模型概念擦除,研究者提出审计感知遗忘方法,以解决文本界面干预后概念仍可从内部表征中恢复的问题。现有擦除方法多通过提示词修改或文本条件权重局部更新实现,仅以给定提示词的输出评估效果,无法反映网络仍编码的内容;潜空间审计绕过文本条件直接探测去噪网络,发现被擦除概念依然可恢复。
研究发现,用 N 帧连续高帧率画面平均合成运动去模糊数据集、并以中心帧作为标签的做法,仅在窗口为奇数且各帧采样时长相等时才无偏;偶数窗口会让每个标签固定偏移模糊长度的一个比例。时长不等更隐蔽:其平均错位为零,数据集统计无法暴露,但当偏移无法从模糊中读出时,它会卷积监督信号而非仅添加噪声。
针对扩散模型数据集蒸馏中似然驱动目标与下游任务判别边界不匹配、生成样本坍缩到少数高密度模态导致流形几何覆盖缺失的问题,研究者提出流形引导策略优化(MGPO),将数据集蒸馏重构为多目标强化学习问题,实现双空间对齐。
针对扩散模型难以对齐人类偏好的问题,研究提出 Best-of-N 引导的测试时对齐方法,通过在反向扩散轨迹中引入奖励信息,突破传统 BoN 采样仅在最终选择阶段使用奖励的局限。传统 BoN 从预训练扩散模型独立采样 N 个样本后仅输出最高奖励样本,未在采样过程中影响扩散轨迹。
研究者提出 CI-JEPA,在 I-JEPA 基础上引入反事实干预感知扩展,学习预测原图与修改后图像之间的表征变化 ΔZ = Z_CF − Z。该工作针对 I-JEPA 目标未显式建模指定视觉干预响应的问题,并通过选择性评估考察表征鲁棒性。
研究将 AI 助手面对信息缺失请求时的澄清行为重构为信息价值问题:助手应优先获取缺失会导致用户效用损失最大的信息,并在交互次数受限时预测该价值以最优分配。作者在图像生成场景中实例化该问题,并推导出一个强化学习框架。
Ideogram 4.5 首次进入 Artificial Analysis 榜单,在 AA-Image-Editing v2.0 图像编辑榜排名第 23,是 Ideogram 首个上榜的模型。其在 AA-Image-T2I v2.0 文生图榜排名第 34,较 Ideogram 4.0 的第 40 有所上升。
ConEx 是一个将显著性可视化与概念推理结合的可解释性框架,可自动发现类别专属概念并用概念激活向量(CAVs)表示,无需人工监督即可学习。该方法通过架构专属的掩码机制,试图同时提升视觉解释的忠实度与可解释性。
研究将 Drifting Models 在复杂图像数据集上的表现差异归因于表征的判别性几何,该几何决定核密度估计(KDE)中的样本加权进而影响漂移场,这解释了像素空间漂移效果差而预训练特征空间显著提升样本质量的原因。
教皇 Leo XIV 公开表达对 AI 生成艺术的不认同,称艺术与机器基于他人数百万张图像通过统计计算生成的内容之间存在本体论差异,且这一差异先于美学层面。他直言"算法缺乏人性的火花"。
SenseNova 6.8 Flash Preview 驱动的 Dynamic Design 功能预览显示,可将静态图像转为动态场景:沙粒旋舞、溪水流淌、鸭子游动、雪花飘落,同时保持建筑静止不动。小红书创作者 @Muzlz8888(Mr.木子李子)用该功能实现了从一张静态图像到富有律动场景的转换。
Midjourney Alpha 更新加入风格预览、文件夹默认设置,并修复了若干错误。
Meshy 推出局部编辑新功能 Meshy Edit,可选定 3D 模型的特定区域并输入想修改的内容,实现局部编辑。官方以《思想者》穿上雪地靴作为效果示例,称 3D 创作将变得更简单、更有趣,该功能目前处于预告阶段。
作者在腾讯元宝内置的Hy Image3.5 Preview模型上整理出25种AI修图玩法,按人像、风景、美食三类旅行照片逐一演示并附完整提示词,涵盖杂志拼贴封面、漫画登机牌、JRPG任务界面、手绘小票、明信片式延伸线稿等效果。作者还实测了肤色还原、去除路人、阴天换蓝天等基础修图能力,称模型文字稳定性与人物一致性好,手机端可用且免费。
一步生成模型通过蒸馏或学习流映射压缩扩散模型的多步轨迹后,研究者提出"深度即时间"(depth as time)的实证观察:多步扩散在采样步上完成的去噪计算,似乎会沿一步生成网络的深度方向展开。该观察针对生成被压缩为单次前向传播后去噪轨迹的变化。
针对少步扩散 Transformer(DiT)采样加速,研究指出步蒸馏后相邻采样步间隔变大,跨更大间隔复用张量会引入更多误差,因此缓存对象的选择尤为关键。作者提出求解器感知的目标选择方法,用于决定复用哪个张量,以降低缓存带来的误差。
AREX 是一种无需训练的采样器,用于预训练的 Flow Matching 模型,通过目标均值和协方差捕捉采样动态中可解析处理的部分。该方法将学习到的动态分解为仿射分量与神经残差项,并用显式矩阵值指数积分器对仿射分量进行积分,从而实现少步采样。
针对深度学习结肠分割常产生不连通预测的问题,该研究提出一套三阶段、保持拓扑结构的分割流水线:先做深度学习初步分割,再通过中心线桥接重新连接断裂区域,最后经重建阶段细化连续性。在 TotalSegmentator 和 RAOS 数据集上,基于重叠度、距离和拓扑指标的评估显示结构连续性得到改善。
OpenAI 为 ChatGPT 推出新的购物功能,用户可用自己的照片虚拟试穿服装和配饰,并把喜欢的商品保存到 Favorites 收藏库。
GALA 通过高斯 Blendshape 蒸馏,将预训练 3D 高斯 Avatar 的动画近似为与身份无关的 blendshape 线性组合,用浅层系数预测器加线性混合替代逐帧重型神经解码,实现实时动画。该方法旨在降低神经推理开销,并提升保真度、减少内存占用。
SILSA 是一个拓扑感知的高分辨率 3D 生成框架,用沿三个主轴方向的固定数量重叠切片隐变量替代昂贵的体素 token,以避免连续表面被切碎成大量局部 token。该设计针对薄壁或高度连通形状,旨在降低生成成本并改善拓扑一致性。
DMAD 将分布匹配蒸馏(DMD)重构为分类任务,直接学习所需的对数密度比,从而免去 DMD 必须维护的辅助扩散模型及其额外内存与计算开销。该方法在共享骨干网络上用两个判别器头区分真实数据、教师样本与学生样本,并通过对 logits 的线性损失训练模型,实现快速视觉生成。
PyPottery 是一个开源 AI 套件,用于半自动化陶器文档处理全流程。它包含四个模块:PyPotteryScan 负责图像自动提取与手写识别,PyPotteryInk 自动为铅笔绘图上墨,PyPotteryTrace 实现语义感知的矢量化,PyPotteryLayout 用于版面处理。该套件旨在缓解陶器记录后处理工作繁重、发表瓶颈严重的问题。
Midjourney 在 alpha.midjourney.com 上线侧边栏样式预览、更大尺寸生成图和文件夹默认参数设置,本周主要修复 bug 并做清理。提示词中多个 sref 现合并为单个样式 pill 并附缩略图,悬停可查看代码,--exp 也可设为文件夹默认值。编辑功能保留原图宽高比,搜索从顶部开始且返回可恢复原页面,下周将推出协作工具。
研究提出 Form and Void,用自主 AI 智能体生成正负空间(positive-negative space)构图,解决共享边界下两个语义概念需协同控制、单次直接提示难以完成的问题。现有 text-to-image 模型与多模态大语言模型(MLLMs)在图像生成和视觉理解上表现强劲,但正负空间生成仍很困难。
研究提出 Latent Frequency Masking 攻击,通过替换水印图像潜在表示中的部分傅里叶系数来抹除水印证据,替换值可采样自高斯噪声以提升效率,或由扩散模型重生成以获得更好的图像保真度。作者给出了重建对抗图像与原始图像之间差异的理论失真上界。
DEPICT 提出用答案一致性来评估文生图(T2I)的图像-文本对齐度,面向 caption 评估、幻觉检测、数据筛选和 T2I 生成器基准测试等场景。该方法针对现有评估器在缺失物体、属性错配、计数错误和忽略否定等细粒度问题上表现不足的现状,通过分解验证问题的答案一致性进行打分。
针对 DDPO 等扩散模型强化学习后训练方法在奖励优化中牺牲多样性与质量的问题,研究者提出 iADD,通过理论分析与方法设计改善这一权衡。该工作从数学上证明,仅对扩散模型后段 timestep 进行更新可能有损多样性,这与此前工作的结论相反。