arXiv cs.AI· Jorge Garc\'ia-Carrasco, Javier Sanchis, Alejandro Reina-Reina, Alejandro Mat\'e, Juan Trujillo·· 9 天前AI 评分30
本地 LLM 智能体能否产出可复现的数据工程产物？一项针对出行工作流的实证研究
Evaluating Local Language Model Agents for Reproducible Data Engineering: An Empirical Software Engineering Study of Mobility Workflows
AI 导读
一项针对出行工作流的实证研究评估了本地开源权重 LLM 智能体生成可复现数据工程产物的能力，覆盖数据发现、连接器、语义增强、特征工程、验证与报告等 15 项任务。在超过 20 亿参数的模型中，闭环工作区条件将通过率较单次生成提升 26.7-52.0 个百分点，最佳配置达到 85.3% 的产物级成功率，量化后的 90 亿参数模型以约 6.5 GB 显存占用达到 69.3%。
正文 · AI 翻译
摘要：背景：大语言模型（LLM）智能体越来越多地被用作软件与数据工程助手，但关于可本地部署的开放权重智能体的证据仍然有限。现有评估往往侧重于文本响应或孤立的代码生成，而非完整工程产物的有效性。
目标：我们评估本地 LLM 智能体能否生成正确且可复现的数据工程产物，量化闭环工作区条件的影响，并考察模型规模、架构、量化、运行时、工具使用和失败之间的权衡。
方法：我们引入一个包含十五个移动性工作流任务的基准，涵盖数据发现、连接器、交通数据流处理、语义增强、特征工程、验证、可视化和报告。确定性检查器评估生成的脚本、表格、结构化文件、图表和报告。在一次性与闭环条件下评估十种本地配置，每个模型、模式和任务重复五次，在消费级 GPU 上共产生 1,500 次评分尝试。
结果：在参数量大于二十亿的模型中，工作区条件相比一次性生成将通过率提高 26.7 至 52.0 个百分点。最强配置达到 85.3% 的产物级成功率，而一个量化的 90 亿参数模型在约 6.5 GB 内存占用下达到 69.3%。当中间产物暴露出智能体可检查并修复的错误时，增益最大。
结论：本地开放权重智能体可以支持软件密集型数据工程工作中一个有意义的子集，但可靠性取决于模型能力、任务可验证性和确定性验证。该基准提供了一种可复现的方法，用于在工程工作流中采用之前评估完整的智能体配置。
| 评论： | 预印本，审稿中。26 页，5 幅图，5 张表。数据集：此 https URL |
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI）；数据库（cs.DB）；机器学习（cs.LG） |
| ACM 分类： | D.2.8；I.2.7 |
| 引用为： | arXiv:2610.11482 [cs.SE] |
| （或 arXiv:2610.11482v1 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11482 arXiv 颁发的 DOI，通过 DataCite（待注册） |
提交历史
来自：Jorge García-Carrasco [查看电子邮件]
[v1]
2026 年 10 月 8 日星期四 08:26:46 UTC（63 KB）
来源：arXiv cs.AI · arxiv.org