arXiv cs.CY· Louise Yorke·· 10 小时前AI 评分34
超越准确率：AI 保障在公共服务中需要确立什么
Beyond accuracy: what AI assurance needs to establish in public services
AI 导读
研究用 8 种 GPT-4o 配置对 1,200 条英国首相问答做 21 类政策主题分类，准确率 68.2%–70.3%，但 24.3% 的问题在重复运行中标签发生变化，且各配置之间的一致性高于与人工编码的一致性。
正文 · AI 翻译
摘要：公共机构日益依赖 AI 生成的证据，包括分类、摘要和评估。这些输出可为政策决策和服务提供提供依据，因此其可靠性关乎公共问责。要确定这些证据是否可信，需要测试其输出，并考察组织如何判断这些测试是否充分。我们将技术评估与 AI 治理要求分析相结合，并借鉴测量理论和管理型监管理论。我们比较了八种 GPT-4o 配置，将 1,200 个英国首相问答归入 21 个政策主题，并与人工编码标签及未更改的重复运行结果进行对比。准确率范围为 68.2% 至 70.3%，但 24.3% 的问题获得不同标签，主题占比和排名也随之变化。各配置之间的一致性高于它们与人工编码的一致性：一致性并不保证正确性。在实施的分数提取程序下，被标记为需人工审核的比例从 0.9% 到 41.0% 不等。我们分析了 37 份英国和欧盟政策文件。两套文件都期望进行测试和监督，但报告期望并未一致涵盖答案变化、共同错误、选择性评估、实质性结论或审核路由。部分英国指南明确涉及稳定性。英国样本强调公共机构检查自身使用情况；欧盟将大量测试义务赋予提供方，同时让他们在措施和接受阈值方面保留重要选择权。若缺乏适当检查，证据可能歪曲政策问题、转移注意力或资源，并使错误未被发现。公共政策应要求组织通过超越总体准确率的检查、明确责任、获取专业知识和审查结果来证明其依赖的合理性。
| 评论： | 20 页，6 张表，2 幅图 |
| 主题： | 计算机与社会（cs.CY）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.06655 [cs.CY] |
| （或 arXiv:2611.06655v1 [cs.CY] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06655 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Louise Yorke [查看电子邮件]
[v1]
2026 年 11 月 4 日星期三 15:31:51 UTC（86 KB）
来源：arXiv cs.CY · arxiv.org