arXiv cs.CL· Liang-Hsun Huang, Min-Yi Chen, Chao-Chun Chuang, Yu-Wei Liu, Che-Yu Wu, Po-Feng Lee·· 3 天前AI 评分39
OpenTWBench：面向大语言模型的台湾领域知识评测基准，以及测量装置如何影响得分
OpenTWBench (Open Taiwan Benchmark): Taiwan-Domain Knowledge Evaluation for Large Language Models, and How the Measurement Apparatus Shapes the Score
AI 导读
研究者发布 OpenTWBench 台湾领域知识评测套件，含 255,854 道四选一试题的 tw-exam-bench（覆盖 148 个学科、15 年台湾国家考试，剔除 2,180 道依赖图片的题目后使用 253,674 道）和 1,696 道难度分层的 tw-formosa-bench。
正文 · AI 翻译
摘要：我们提出 OpenTWBench，一个面向大语言模型中台湾领域知识的开放评估套件，围绕两个基准构建。tw-exam-bench 包含 255,854 道四选一题目，涵盖 148 个学科，来自台湾考选部以开放数据形式发布的十五年国家考试；答案在 31,312 个重复题目组中一致率为 99.91%，全部 27 处不一致均已查明。经复核的第二轮撤回了 2,180 道题干依赖文本未附带图片的题目；所有分数均使用剩余的 253,674 道题。tw-formosa-bench 包含 1,696 道按难度精选的题目，涉及日常与当代台湾——即执照考试从不问及的台湾——这些题目在一种没有任何模型撰写标准答案的规程下从社区精选语料生成，并针对一个冻结的七模型池进行筛选，使该池得分处于及格边缘（46.9–74.6%，中位数约 54%）；留一实验表明该筛选保留了模型排名（偏差接近于零）。六周之内，前沿模型已越过该区间：目前公开榜单上的 108 个模型中，22 个得分高于其上限，最佳为 91.6%。
我们还记录了分数中有多少来自评测装置而非模型本身。在相同题目上，将答案提取从模式匹配切换为显式的 \boxed{} 答案，准确率从 20.8% 提升至 93.9%；系统提示中的一个占位字符使某模型在同一基准上从最后一名（58.2%）升至第一名（83.9%）；将思考预算从 8k 翻倍至 16k token 仅换来 0.2%，同时改变了哪些题目失败；一个三评委验证小组被证明实为一名评委伪装而成，其中两名成员对展示的一切内容批准率为 92–99%。我们在 此 https URL 发布所有数据集、逐题难度数据、筛选清单和排行榜
| 评论： | 19 页，无图。数据集、逐题难度数据和公开排行榜见 此 https URL |
| 学科： | 计算与语言（cs.CL） |
| ACM 分类： | I.2.7; I.2.6 |
| 引用为： | arXiv:2610.19848 [cs.CL] |
| （或 arXiv:2610.19848v1 [cs.CL] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2610.19848 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Liang Hsun Huang [查看邮箱]
[v1]
2026 年 10 月 14 日星期三 09:18:47 UTC（30 KB）
来源：arXiv cs.CL · arxiv.org