arXiv cs.CL· Brianne Lee·· 11 小时前AI 评分36
17 岁学生写的答案被算在谁头上？六款前沿语言模型作者年龄误判的行为案例研究
Which Answer Did the Seventeen-Year-Old Write? A Behavioral Case Study of Author-Age Misattribution, Miscalibrated Confidence, and Non-Corrective Self-Explanation in Six Frontier Language Models
AI 导读
一项针对 Claude Fable 5、Gemini 3.1 Pro、GPT-5.6 Sol、Grok 4.5、GPT-4o (2024) 和 DeepSeek V4 六款模型的行为案例研究显示。
正文 · AI 翻译
摘要：三名学生手写回答了同一道考试题：“什么是幸福？你幸福吗？”采集时记录的年龄分别为 17 岁、28 岁和 45 岁。17 岁学生的回答措辞谨慎、表述正式。当被要求将每份回答与年龄和性别标签匹配时，大多数前沿语言模型都自信地将其归为成年人。本文报告了针对这一失败在六个模型上的结构化案例研究：Claude Fable 5、Gemini 3.1 Pro、GPT-5.6 Sol、Grok 4.5、GPT-4o (2024) 和 DeepSeek V4。我们运行了 1,081 次 API 会话，并在六种操纵框架、披露格式和受众意识指令的实验条件下对 3,225 条回答进行了评分。六个模型中有三个在匹配任务上的表现处于或接近随机水平（1/3），同时报告的平均置信度为 73-88%。最年轻作者的回答在高达 90% 的试验中被错误归为成年人。移除多项选择支架后，准确率进一步崩塌：一旦要求开放式估计，三个模型从未将年龄估计到真实年龄的三年以内。机构框架（“一所社区大学的生物学期末考试”）显著降低了表现最佳模型的准确率；中性标签则不会。单条受众意识指令显著提升了一个模型（+21 分），并使另一个模型达到上限，而对三个最弱的模型没有可检测的影响。六个模型中有五个的陈述置信度与正确性不相关或呈负相关。在揭示真实答案后，一个模型在 114 条解释中有 68 条指出了自身的刻板印象，但它在盲测呈现下表现出所有模型中最差的准确率和最高的置信度：这种清晰的事后诊断并不能反映其判断质量。这是一项三项、单一主题、单一语言的案例研究，旨在分离一种机制，而非估计总体偏见率。数据、代码和原始模型输出已公开发布。
| 评论： | 15 页，6 张表。代码和数据：此 https URL |
| 主题： | 计算与语言 (cs.CL) |
| ACM 分类： | I.2.7 |
| 引用为： | arXiv:2610.31946 [cs.CL] |
| （或 arXiv:2610.31946v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.31946 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Brianne Lee [查看电子邮件]
[v1]
2026 年 10 月 22 日星期四 21:45:19 UTC（18 KB）
来源：arXiv cs.CL · arxiv.org