Google Research 发布 Agile Deliberation 框架，用于构建主观概念图像分类器

MarkTechPost· Asif Razzaq·2026-11-05 13:42· 2 小时前AI 评分52

Google AI Research 发布面向灰色地带图像分类器的 Agile Deliberation 框架

AI 导读

Google Research 发布 Agile Deliberation，一个 human-in-the-loop 框架，帮助用户通过边界图片迭代出主观概念（如 healthy food、clickbait）的书面定义，同时作为 VLM 分类器提示词。

正文 · 原文

Google Research 发布了 Agile Deliberation，一个 human-in-the-loop 框架，用于围绕主观概念构建图像分类器。比如“健康食品”、“鼓舞人心的艺术作品”或内容审核中的标题党。大多数工具都假设用户已经知道概念边界。Agile Deliberation 则假设他们并不知道，并帮助他们找到边界。

TL;DR

框架：它通过 API 提示 Gemini 2.5 Pro 和 Gemini 2.5 Flash，无需微调。
运行于：Jupyter 或 Colab notebook。检索使用 CLIP 嵌入和 FAISS 索引，可在 CPU 或 GPU 上运行。演示索引初始大小约为 260 MB。
性能：在 2 个概念和 18 次实时会话中，平均比零样本 Gemini 2.5 Flash 高 10.5 个 F1 点。
最佳：paid to play 的 F1 为 0.59，零样本为 0.48，精确率提升 22 点（0.35 到 0.57）。
最差：paid to play 的召回率下降 17 点（0.80 到 0.63），healthy food 下降 15 点。

什么是 Agile Deliberation？

Agile Deliberation 是 Google Research 的框架，可将模糊概念转化为结构化的书面定义。该定义有两个作用。它是人类可读的策略，也是 VLM 分类器的文本提示词。每一轮都会保留在用户标签上 F1 最佳的候选定义。

该设计源自与一组内容审核专家的访谈。专家们先界定概念范围，再在边界图像上细化。找到这些图像是最慢的部分。

概念界定如何运作？

阶段 1 使用 Gemini 2.5 Pro 的提示链，将概念拆分为最多 3 个单位概念。每个单位都会获得候选的正向和负向子概念，并展示检索到的图像。对于健康食品，正向可能是沙拉或谷物碗。负向可能是加工食品或未加工的原料。用户保留、翻转或删除每一个。

概念迭代如何找到边界图像？

阶段 2 跳过经典的不确定性采样。分类器是提示式生成 VLM，因此其置信度分数通常未校准。相反，系统会寻找在含义上处于边界的图像。

该流程运行 4 个步骤：

Gemini 2.5 Flash 编写边界查询，例如“加大量蛋黄酱的沙拉”。每个查询检索 50 到 100 张图像。
图像去重、编码，并通过字典学习分组为簇。
UCB 多臂老虎机选择下一个簇。它偏好用户纠正过模型或留下丰富反馈的簇。
VLM 用 1 句话总结每张图像。用户至少看到 5 张共享 1 个歧义的图像。

用户为每张图像打标签，并对分歧添加简短备注。LLM 将这些备注转化为候选定义。贪心更新保留得分最高的一个。

如何评估？

主观概念没有固定的标准答案，因此 Google 团队跳过了静态基准测试。他们开展了 18 场实时会话，每场约 90 分钟。9 名没有专业主持经验的参与者每人进行了 2 场会话。一场会话使用 Agile Deliberation，另一场使用人工审议。每位参与者花约 45 分钟定义一个概念，然后标注 200 张留出的测试图像。

这两个概念分别是“付费参与”式标题党和“健康食品”。检索分别在专有的 1 亿张图像数据集和 WebLI 上进行。

基准测试显示了什么？

F1（Agile Deliberation 组）	零样本	Modeling Collaborator	Agile Deliberation	相对零样本的提升
付费参与	0.48	0.53	0.59	+11 分
健康食品	0.48	0.50	0.58	+10 分

来源： CVPR 2026 论文的表 1。F1 为参与者平均值。

它与其他主观分类器方法相比如何？

特性	Agile Deliberation	Modeling Collaborator	Agile Modeling	零样本 VLM
发表会议	CVPR 2026	CVPR 2024	ICCV 2023	论文中的基线
核心思路	对语义边界图像进行审议，然后自动优化提示词	LLM 智能体分解概念并自动标注数据	用户在实时循环中标注图像	根据初始描述进行分类
人工投入	约 45 分钟的标注和反馈	约 100 个标签加聊天（对比约 2,000 个）	14 人研究中不到 30 分钟	1 个概念描述
处理不断演变的定义	是	否（静态）	否（静态）	否
分类器	提示式 Gemini 2.5 Flash	轻量级蒸馏分类器	未披露	提示式 Gemini 2.5 Flash
F1，付费参与	0.59	0.53	未测试	0.48
F1，健康食品	0.58	0.50	未测试	0.48
代码	Apache 2.0，GitHub	未披露	未披露	Gemini API

开发者如何运行它？

该仓库附带一个 Demo.ipynb，演示健康食品示例。它需要 Gemini API 密钥，默认使用 gemini-2.5-pro 和 gemini-2.5-flash。一个安装脚本会在 LAION-400M CLIP 嵌入上构建 FAISS 索引。默认的 2 个分片约占 260 MB。全部 100 个分片约占 13 GB。

关键要点

Agile Deliberation 帮助用户发现主观概念的边界，而不仅仅是标注它。
它按语义而非分类器置信度来寻找边界图像。
F1 平均比零样本 Gemini 2.5 Flash 提高 10.5 分。
用户报告称，与手动编辑提示词相比，投入和压力显著更低。
代码已在 GitHub 上开源，并附带基于 Gemini 的演示 notebook。

查看论文、arXiv 版本、GitHub 仓库和 Google Research 博客。另外，欢迎在 Twitter 上关注我们，别忘了加入我们的 15 万+ 机器学习 SubReddit 并订阅我们的新闻通讯。等等！你在 Telegram 上吗？现在你也可以在 Telegram 上加入我们。

需要与我们合作推广你的 GitHub 仓库、Hugging Face 页面、产品发布或网络研讨会等？联系我们

文章 Google AI Research Releases Agile Deliberation Framework for Gray-Area Image Classifiers 首次发表于 MarkTechPost。

来源：MarkTechPost · marktechpost.com