arXiv cs.CL· Tobias Hallmen, Fabian Deuser, Robin-Nico Kampa, Norbert Oswald, Elisabeth Andr\'e·· 11 小时前AI 评分50
解析文本低估了视觉语言模型：细粒度面部情绪识别可从低于专家一致到高于专家一致
Parsed Text Understates Vision-Language Models: From Below to Above Expert Agreement on Fine-Grained Facial Emotion
AI 导读
研究指出 EmoNet-Face-HQ 基准从生成文本读取答案、要求每张脸固定情绪数量的协议本身会决定结果。改为对 40 个情绪类别逐类做 yes/no 提问并按“yes”概率打分后，11 个开放权重 VLM 在专家最一致的 5 个类别上平均二次加权 κ 从 0.425 升至 0.553，全部超过两位专家之间 0.468 的一致水平。
正文 · AI 翻译
摘要：EmoNet-Face-HQ 是一个包含 2,500 张生成人像的基准，每张人像由四位心理学专家按 40 个情绪类别进行评分。其结论是，视觉语言模型（VLM）平均而言相比随机猜测并无可靠提升，因此需要微调模型。该基准从生成的文本中读取每个模型的答案，其零样本提示要求每张人脸给出固定数量的情绪。其自身结果已表明，这一协议可以决定结果：仅改变提示，一个 VLM 就能从随机水平提升到接近专家一致的水平。我们保留图像、专家评分和指标，只改变答案的询问和读取方式：每个类别一个是/否问题，按“是”的概率计分。在专家最一致的五类上，从解析文本计分，十一个开放权重 VLM 相对于个体专家的二次加权 $\kappa$ 平均为 0.425，低于两位专家一致的 0.468。从“是”的概率计分，相同模型平均为 0.553，且全部十一个模型与个体专家的一致程度都高于第二位专家。这些 VLM 的均值与基准的微调模型（0.555）持平，其中三个在没有任何训练的情况下显著超过它。只有一个超过更严格的参照，即三位专家相对于第四位专家计分的均值（0.563）。因此，关于 VLM 在分级面部情感评分上失败的结论，可能更多描述的是读取方式而非模型本身。微调模型在被称作必要之前，应当先胜过以这种方式读取的预训练 VLM，而基准自带的模型并未明确做到这一点。
| 评论： | 预印本。10 页，2 幅图；10 页补充材料作为附属文件。本工作已提交至 IEEE 以供可能发表。版权可能未经通知即转移，此后本版本可能不再可访问 |
| 主题： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.08162 [cs.CV] |
| （或本版本的 arXiv:2610.08162v2 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2610.08162 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Tobias Hallmen [查看电子邮件]
[v1]
2026 年 10 月 6 日星期二 11:14:23 UTC（106 KB）
[v2]
2026 年 10 月 31 日星期六 10:08:27 UTC（488 KB）
来源：arXiv cs.CL · arxiv.org