arXiv cs.CL· Daniel Robert Kling Alexander, Catherine Louise Kling·· 10 天前AI 评分27
无标准答案时如何评估语言模型：陈述偏好经济学的启示
Validity Without Ground Truth: What Stated-Preference Economics Offers the Evaluation of Language Models
AI 导读
研究者提出用陈述偏好经济学的效度框架评估大语言模型，涵盖内容效度、构念效度、效标效度、信度、激励兼容性与后果性等概念。在一项已发表的水质估值调查（Vossler et al. 2023）中测试六个模型，效度检验以经济理论预测形式呈现：需求曲线应向下倾斜，支付意愿应随商品范围和收入变化。
正文 · AI 翻译
摘要：如今向大语言模型提出的许多问题都没有可供评分的正确答案：一项政策价值几何、用户应选择哪个选项、如何权衡相互冲突的价值。陈述性偏好经济学数十年来一直面临这一问题。它在不知道真实价值的情况下评判调查回答，依靠一套效度及相关概念的框架：内容效度、结构效度和效标效度、信度、激励相容性以及后果性。我们认为，这一框架是评估语言模型的通用方法，并阐述了每个概念对 LLM 评估意味着什么。我们使用一项已发表的水质陈述性偏好经济价值评估调查（Vossler et al. 2023）对六个模型进行了施测，以演示该方法。在这一经济学应用中，效度检验采取经济理论预测的形式：需求应当向下倾斜，支付意愿应当对物品的范围和收入作出反应。这些检验将各模型鲜明地区分开来。两个较旧的模型在家庭收入水平为 \$75,000 时未能通过最基本的检验，而两个最新的模型通过了我们能够评分的每一项理论效度检验，但在收敛效度上存在分歧。通过效度检验表明模型的回答是连贯的，而非正确的。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；一般经济学（econ.GN） |
| 引用为： | arXiv:2610.10506 [cs.AI] |
| （或本版本的 arXiv:2610.10506v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.10506 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
发件人：Daniel Alexander [查看电子邮件]
[v1]
2026年10月7日星期三 17:51:07 UTC（96 KB）
来源：arXiv cs.CL · arxiv.org