arXiv cs.AI· Andrew Semenov, Svyatoslav Dorofeev·· 10 小时前AI 评分49
Kierston & KierstonBench：Allentown, PA 城市级模拟与语言模型犯罪调查及监控任务评测
Kierston & KierstonBench: Simulation of Allentown, PA and Evaluation of Language Models in Crime Investigation and Surveillance Tasks
AI 导读
研究者发布城市级模拟引擎 Kierston 与基准 KierstonBench，模拟宾夕法尼亚州 Allentown 约 125,000 名居民的日常活动及电信、金融、行政和车牌记录，用于评测语言模型在犯罪调查与监控任务中的能力。
正文 · AI 翻译
摘要：大型语言模型是刑事侦查和大规模监控中收集与分析记录的候选工具。目前无法衡量它们在这项工作中的能力和准确性。真实部署缺乏对模型结论进行评分所需的基准真值，也没有基准在模拟环境中评估这些能力。我们提出 Kierston，一个城市规模的模拟引擎，以及 KierstonBench，一个针对已知模拟事件测试这些能力的基准。Kierston 模拟宾夕法尼亚州阿伦敦约 125,000 名居民，生成他们的日常活动以及监控和调查系统所收集的关于他们的电信、金融、行政和车牌记录。这些记录源自共同的行为时间线，并分布在代表不同提供商的来源中。模型通过受限的记录接口进行调查，在无法访问底层模拟的情况下跨来源关联观察结果。该基准包含 32 个任务族，涵盖记录关联、日常活动重建、事件调查和欺骗性陈述评估。在对十六个语言模型的评估中，大多数无法执行记录调查，并提交了记录不支持的指认。少数前沿模型解决了大部分任务，并在证据不足时弃权。在某些情况下，这些模型仍然落入常见的欺骗和假设之中，且没有一个能取代调查员。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.04785 [cs.AI] |
| （或本版本的 arXiv:2611.04785v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2611.04785 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Andrew Semenov [查看电子邮件]
[v1]
2026年11月3日星期二 12:23:08 UTC（11,828 KB）
[v2]
2026年11月10日星期二 11:27:46 UTC（11,827 KB）
来源：arXiv cs.AI · arxiv.org