arXiv cs.CL· Charles Chang (Duke Kunshan University), Yuen Yuen Ang (Johns Hopkins University), Bolun Sun (Northwestern University)·· 10 小时前AI 评分31
DAPE：评估政策变化推理的双轴政策蕴含基准
Dual-Axis Policy Entailment: A Benchmark for Policy-Change Reasoning
AI 导读
研究者提出 Dual-Axis Policy Entailment（DAPE）基准，用二元判断（是否同一政策域）与五元判断（延续、扩大、收窄、反转或不同域）组合成五类标签，评测 1000 对中文政府政策指令的有序配对。
正文 · AI 翻译
摘要：一项政策是否发生领域转移，并由此延续、扩展、收窄或逆转先前政策，对公共政策研究至关重要。我们提出双轴政策蕴含（Dual-Axis Policy Entailment, DAPE），它同时对两个维度评估一对有序的政策指令：一个二元判断确定这两项指令是否管辖同一政策领域，一个五向判断确定后一项指令是延续、扩展、收窄还是逆转先前政策，抑或管辖完全不同的领域。将两个判断合起来看，它们构成一个五类标签，即我们的主要指标。双轴设计捕捉政策变化的两个核心维度，而不会将任一维度上的错误混入笼统的“无关”标签，同时使标注更加严谨：编码者不能在没有明确、可核查的判定情况下，将一对困难样本作为领域无关而搁置。我们引入一个由专家标注的基准，包含从中国政府政策大型语料库中抽取的 1,000 对有序指令，以及一套标注校准协议（含前后一致性测量的裁决包），作为方法学产物贡献出来。十四个开放权重模型和四个前沿 API 旗舰模型在零样本下均未能完成该任务：即便是表现最好的前沿旗舰模型，其与专家标签的机会校正一致性也远低于人类上限（Cohen's $\kappa \approx 0.29$ 对 $0.53$）。一个微调的开放权重模型（Qwen3-14B 的 LoRA SFT，五折交叉验证）弥合了这一差距，达到编码者相互间的人类上限（$\kappa = 0.524$ 对 $0.527$）。最后，我们将该方法应用于中国的人工智能政策（1980-2024），并绘制了各时代政策变化的方向。
| 评论： | 36 页，7 幅图 |
| 主题： | 计算与语言（cs.CL）；计算机与社会（cs.CY） |
| 引用为： | arXiv:2611.00536 [cs.CL] |
| （或 arXiv:2611.00536v1 [cs.CL] 为本版本） | |
| https://doi.org/10.48550/arXiv.2611.00536 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Bolun Sun [查看电子邮件]
[v1]
2026 年 10 月 31 日星期六 01:48:26 UTC（114 KB）
来源：arXiv cs.CL · arxiv.org