arXiv cs.CL· Zhengxiang Huang, Yujie Sun, Shengheng Chen, Zhaode Wang, Chaoyue Niu, Zeyu Zhao, Chengfei Lv, Fan Wu, Guihai Chen·· 10 小时前AI 评分39
EngineAgent：让端侧 LLM 推理引擎具备推理栈层级感知与硬件能力
EngineAgent: Agentizing On-Device LLM Inference Engines with Inference Stack Hierarchy Awareness and Hardware Abilities
AI 导读
EngineAgent 是一个自动化端侧 LLM 模型适配的智能体系统，在覆盖 3 个移动端 LLM、4 组引擎-后端组合（CPU/GPU/NPU）的 12 项任务上实现 75% 端到端成功率，最强编码智能体基线为 33.3%。
正文 · AI 翻译
摘要：快速演进的 LLM 架构与异构移动硬件，使得在端侧推理引擎中支持新模型成为一项反复出现且代价高昂的系统性挑战。每个模型都可能需要在转换、图构建、算子与硬件后端之间进行协同修改。现有编码智能体往往忽略这些跨层依赖，并且难以诊断主机—设备执行路径中的故障。我们提出 EngineAgent，一个用于自动化端侧 LLM 模型适配的智能体系统。其核心思想是将可复用的引擎与硬件知识同模型特定的实现相分离。在适配之前，EngineAgent 构建一个层次感知的引擎索引，用于刻画引擎抽象层与跨层依赖，并利用已支持的模型预先验证后端特定的构建、执行与调试工作流。对于每个新模型，构建器利用这些知识协调跨层修改，而审计器则检查实现的完整性，并通过设备侧验证驱动迭代调试。在涵盖三个移动 LLM 与四组引擎—后端组合（CPU、GPU 和 NPU）的 12 项任务中，EngineAgent 在两种底层 LLM 下均取得 75% 的端到端成功率，而最强的编码智能体基线为 33.3%。成功需满足编译、设备端执行以及与参考实现的输出 logit 一致。相对于使用相同底层 LLM 的基线，EngineAgent 还降低了平均每任务时间与模型 API 成本。
| 主题： | 操作系统（cs.OS）；人工智能（cs.AI）；计算与语言（cs.CL）；软件工程（cs.SE） |
| 引用为： | arXiv:2611.14356 [cs.OS] |
| （或 arXiv:2611.14356v1 [cs.OS] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.14356 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhengxiang Huang [查看邮箱]
[v1]
2026年11月10日 星期二 17:16:47 UTC（7,831 KB）
来源：arXiv cs.CL · arxiv.org