arXiv cs.CL· Md Rejaul Korim Sadi, Golam Mostofa Naeem, Toufiqur Rahman Tasin, Syed Mostofa Moosa, Mahmudul Hasan Emon, Mahmudur Rashid, Ferdus Ahmed·· 10 小时前AI 评分29
研究：语言模型与启发式规则对移动 UI 质量评分的一致性差异
Characterising divergence between heuristic and language-model ratings of mobile user interface quality
AI 导读
研究基于 RICO 数据集构建 15,000 屏语料，用文献启发式评分器与三个开放权重语言模型在两种输入表示下共产生 270,000 条评分，发现两类评分源一致性持续偏弱：18 个模型-表示-维度组合中有 17 个原始 kappa 低于 0.15。
正文 · AI 翻译
摘要：移动用户界面质量的自动化评估颇具吸引力，因为人工评审无法规模化，而大语言模型正越来越多地被提出用于该任务。它们的评分是否与既有的基于规则的启发式方法所产生的结果一致，尚未在大规模上得到刻画。我们使用六个有文档记录的过滤器，从 RICO 数据集构建了一个包含 15,000 个屏幕的语料库，用基于文献的启发式评分器对每个屏幕打分，并从三个开放权重语言模型、两种输入表示中收集评分，共得到 270,000 条评分。我们报告线性加权 Cohen's kappa 及 bootstrap 置信区间、偏移校正 kappa、组内相关系数、Bland-Altman 一致性界限，以及容差带一致性规则的随机基线。两种评分来源之间的一致性始终较弱：在十八个模型-表示-维度单元中，有十七个的原始 kappa 低于 0.15。然而，十八个单元中有十五个在统计上可与零区分，且校正恒定偏移后使五个单元升至 0.15 以上，因此这种分歧更适合描述为系统性偏差与弱共变的结合，而非不存在关系。模型评分与界面的结构属性相关，但相关强度显著低于启发式方法，且从未截断的结构元素列表中获得的相关性强于从截图中获得的相关性。我们进一步表明，在单个生成响应中引出的各维度在构造上就是相关的，在一种条件下达到 rho = 0.97，这限制了此类设计所能测量的内容。我们将这些结果报告为对两个自动评分器之间分歧的刻画，而非任一评分器正确的证据，并阐述了更强的论断所需的验证。
| 评论： | 15 页，4 幅图，12 张表（含附录）。数据和代码见辅助文件。早期摘要已在 EFAST 2026 上以“Seeing Without Understanding: Large Language Model Evaluation of Mobile User Interface Quality, Failure Taxonomy, and Architectural Explanation”为题报告 |
| 主题： | 人机交互（cs.HC）；计算与语言（cs.CL）；软件工程（cs.SE） |
| 引用为： | arXiv:2609.05423 [cs.HC] |
| （或本版本的 arXiv:2609.05423v2 [cs.HC]） | |
| https://doi.org/10.48550/arXiv.2609.05423 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Md. Rejaul Korim Sadi [查看电子邮件]
[v1]
2026 年 5 月 24 日星期日 17:29:48 UTC（715 KB）
[v2]
2026 年 11 月 9 日星期一 21:15:50 UTC（1,327 KB）
来源：arXiv cs.CL · arxiv.org