arXiv cs.CL· Phan Binh Nguyen Lam, Nguyen Thai Anh·· 10 小时前AI 评分31
ViAdminShift：基于 2025 年越南行政改革构建的事件级知识更新越南语基准
ViAdminShift: A Vietnamese Benchmark for Event-Level Knowledge Updates Built from the 2025 Administrative Reform
AI 导读
ViAdminShift 是面向越南 2025 年 7 月 1 日行政改革（63 省缩至 34、撤销 696 个郡、1 万余个坊级单位并为 3,321 个）的越南语基准，含 7,995 条评测项与 2,281 段检索文本。
正文 · AI 翻译
摘要：2025 年 7 月 1 日，越南将其 63 个省缩减为 34 个，废除了 696 个县，并将 10,035 个乡级单位（坊）替换为 3,321 个。ViAdminShift 是一个关于此事件的越南语资源，包含 7,995 个基准测试条目、2,281 段来自改革前后维基百科修订版本和带日期模板的检索段落，以及新旧对照表（由已发布的脚本根据官方转换表重建，不重新分发）。变更条目存储改革前的答案（121 个地址条目除外），采用 $2\times2$ 设计，以未变更单位作为对照，并有 400 个地址不带变音符号。这些表格与独立谱系在 10,565 个官方配对中的 10,564 个上一致，分歧已根据决议解决，探测赛道的评分者与两位作者的盲标一致（Cohen's $\kappa=0.91$ 和 $0.89$）。数据、输出、代码和数据表均已发布。在探测赛道中，67 个模型里至少有 20 个了解这项改革。其中 14 个模型在关于旧地址的简单问题中，最多有 11% 只给出新省份（仅旧省份：14-100%）；一个裸日期可恢复高达 100%。事后分析（80 个无省份地址，单次运行）中，关闭推理时，系统提示中的今日日期使 12 个模型中的 10 个有 68-100% 仅旧省份答案；开启推理时，问题中的“截至”前缀使 8 个模型中的 7 个没有此类答案。在 1,262 条基准测试子集上，使用同源的新旧段落，不了解该改革的小模型给出 14-30% 的过时答案，而五个基准赛道知晓者（在规模或提供商上也不同）给出 0-5%。
| 评论： | 30 页，8 幅图，3 张表 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.03171 [cs.LG] |
| （或此版本的 arXiv:2611.03171v1 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2611.03171 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Nguyen Thai Anh [查看电子邮件]
[v1]
2026 年 11 月 2 日星期一 14:09:32 UTC（474 KB）
来源：arXiv cs.CL · arxiv.org