arXiv cs.AI· Xiaofan Wu, Xi Zeng, Miaoxia Chen, Peishan Chen, Shuyan Li, Chen Wang, Xiaohan Wang, Wanling Xu, Jiyun Yao, Hanyong Zhong, Jiahao Zhu·· 3 天前AI 评分23
TasteBench：如何构建真正衡量品味的基准
How to Build a Benchmark That Actually Measures Taste
AI 导读
研究者提出 TasteBench，一个覆盖视觉、品牌、图书与技术品类的成对好/坏品味基准，采用冻结评分标准与专家标注（专家组 n>=3，一致率>=0.60 为主门槛）。
正文 · AI 翻译
作者：Xiaofan Wu、Xi Zeng、Miaoxia Chen、Peishan Chen、Shuyan Li、Chen Wang、Xiaohan Wang、Wanling Xu、Jiyun Yao、Hanyong Zhong、Jiahao Zhu
摘要：与专家对齐的“品味”基准应当奖励工艺判断力，而非钻测试空子的能力。我们提出 TasteBench，这是一个在视觉、品牌、书籍和技术类目上进行的成对好对坏基准，采用冻结评分标准、仅由专家提供的金标准（专家组 n>=3；一致率 >=0.60 为主要门槛；弱参与度标签仅用于训练/分析），并配有一套将工艺判断力与测试钻空子区分开的对照协议。将该协议应用于第一轮试点（primary_human_expert；三位生物学人类专家；n=250 对）后，揭示并量化了三种效度威胁：两种抬高平凡基线层的构造伪影，以及一个抬高所有分数的难度天花板。（1）位置：偏好项位于 A 槽的概率为 0.956，因此 always_item_a 策略得分为 0.956（公平概率为 0.5）。（2）词汇泄漏：一个文件名 token 线索得分为 0.912。（3）难度天花板：工艺领域显示出接近天花板的人类一致率（书籍/品牌/技术为 1.0），即便在 A/B 随机化下（eval_assignment_seed7；gold_side_A ~0.47），全部五张 VLM 卡片在工艺上均达到 1.0，只有视觉具有区分度（约 0.84-0.91；事后困难子集 n=107 使工艺仍保持 1.0）。该协议（仅专家金标准、弱标签防火墙、构造时侧别随机化、文件名清洗和困难过滤器）使每种伪影都可测量，并且对两种构造伪影而言可校正；我们发布了一个参考评估工具和一个侧别随机化工具，并展示该工具消除了位置偏斜（0.916 降至 0.495/0.505）。其结果是给出了该基准目前测量了什么、尚未测量什么的校准视图：位置和泄漏是可修复的，而工艺领域天花板是配对难度限制，第二轮必须解决。我们在此不评估参与度、时代/圈层条件或校准，也不声称任何通用品味 SOTA。
| 评论： | 17 页，5 幅图，11 张表 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2610.14707 [cs.AI] |
| （或 arXiv:2610.14707v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14707 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Xiaofan Wu [查看电子邮件]
[v1]
2026 年 10 月 10 日星期六 08:26:28 UTC（42 KB）
[v2]
2026 年 10 月 14 日星期三 05:09:43 UTC（43 KB）
来源：arXiv cs.AI · arxiv.org