arXiv cs.CL· Jingwen Zhu, Keshu Wu, Steven T. Parker, Bin Ran, David A. Noyce·· 14 小时前AI 评分31
CrashDB-QA:面向自然语言事故数据分析的 schema 接地智能体工作流
From Questions to Queries to Insights: A Schema-Grounded Agentic Workflow for Natural-Language Crash Data Analysis
AI 导读
研究提出 CrashDB-QA,一个完全本地部署、以 schema 为接地的智能体工作流,可将自然语言问题转为只读 SQL 并解释结果,在 440 万条 Wisconsin 事故记录快照和 300 题新基准上测试了 9 个本地开源模型。
正文 · AI 翻译
摘要:交通管理机构维护着庞大的事故数据库,用于识别安全优先事项、评估对策并指导资源分配。要让从业人员能够访问这些数据,就需要灵活的方式将分析问题转化为可靠的结果。现有仪表板支持预定义的分析,而额外的请求往往依赖于了解数据库查询、编码字段和机构惯例的专家。本研究提出了 CrashDB-QA,这是一个完全本地化、基于模式的智能体工作流,能够对事故数据库进行自然语言分析。专门的组件负责解释问题、生成并验证只读 SQL、执行查询并解释结果。共享知识库将查询构建建立在机构的数据字典和安全分析惯例之上,同时记录中间输出以支持检查和审计。一个可选的扩展 CrashDB-QA+ 会检查问题、查询和执行结果之间的一致性,并为迭代修复提供证据。我们使用一个包含十个分析类别、300 个问题的新基准和九个本地开源权重模型,在 440 万条威斯康星州事故记录的冻结快照上评估了该工作流。领域基础显著提高了查询准确性,而一个代码专用的 7B 模型在测试模型中提供了最佳的准确性-延迟平衡。组合分析仍然比常规检索更困难,尤其是组间或时段间的比较。当 Judge 使用权威字段定义且 Refiner 收到执行证据时,验证会提升性能,而仅增加检查并不能带来一致的收益。这些发现展示了本地部署、领域基础工作流在拓宽事故分析访问方面的潜力,并指出了可靠使用所需的推理和验证能力。
| 主题: | 计算与语言(cs.CL) |
| 引用为: | arXiv:2610.35054 [cs.CL] |
| (或 arXiv:2610.35054v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.35054 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Keshu Wu [查看电子邮件]
[v1]
2026 年 10 月 26 日星期一 09:01:57 UTC(794 KB)
来源:arXiv cs.CL · arxiv.org