arXiv·· 15 天前AI 评分31
EdgeAgent：在 CPU-GPU 统一内存架构上为终端多智能体系统编排端侧 LLM 推理
EdgeAgent: Orchestrating On-Device LLM inference for End-User Multi-Agent Systems on CPU-GPU Unified Memory Architectures
AI 导读
EdgeAgent 面向终端多智能体 LLM 的隐私保护端侧部署，解决统一内存架构（UMA）上内存受限解码阶段引发的总线争用问题，避免朴素 CPU-GPU 协同执行失效。该系统还针对多智能体负载中投机解码草稿难度差异极大、工具调用频繁停顿导致的执行碎片化问题做了优化。
来源：arXiv · arxiv.org