arXiv cs.CL· Marianne Menglin Liu, Rongguang Wang, Zheng Wang, Yewen Wang, Leonid Boytsov, Tao Sheng, Sujith Ravi, Dan Roth·· 10 小时前AI 评分38
LLM 智能体能否胜任前置工程师？企业级 Text-to-SQL 的需求发现与交付研究
Can LLM Agents Be Forward-Deployed Engineers? Requirement Discovery and Delivery for Enterprise Text-to-SQL
AI 导读
一项基于真实企业 text-to-SQL 场景的研究测试了 LLM 智能体能否充当前置工程师（FDE），在 15 个模型中，最强模型能发现超过 80% 的隐藏需求，开源权重模型为 40-50%。
正文 · AI 翻译
摘要：LLM 编码智能体正日益能够自动化模型后训练，但它们能否充当一线部署工程师（FDE）智能体，即发现客户需求并将其转化为部署决策，仍不明确。我们在一项真实的企业级 text-to-SQL 项目中研究了这一问题：一个模拟客户基于真实用例的需求，从模糊的请求开始。智能体必须在发现阶段查明验收标准、数据权限和硬件约束，然后在交付阶段规划并执行后训练方案。在 15 个模型中，最强的模型发现了超过 80% 的隐藏需求，开放权重模型发现了 40-50%；在交付阶段，八种编码智能体配置中只有 25% 的运行通过了所有验收标准。我们识别出该项目中的四个瓶颈：（1）发现不完整，40% 的隐藏需求缺失或被错误表述；（2）执行不可靠；（3）计算预算利用不足，且缺乏对基础模型和后训练方法的系统性比较；（4）基准准确率不能保证生产就绪。我们建议对发现的需求进行人工审查、在执行期间监控智能体的计划，并制定明确的实验环境规范，涵盖硬件、预算范围和生产检查。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.03551 [cs.CL] |
| （或 arXiv:2611.03551v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.03551 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Rongguang Wang [查看邮箱]
[v1]
2026年11月2日星期一 18:13:38 UTC（168 KB）
来源：arXiv cs.CL · arxiv.org