arXiv cs.AI· Zhu Jiaqi, Jain Prakriti, Katare Dewant, Kumar Saurabh·· 10 小时前AI 评分18
面向上下文感知边缘视觉 Transformer 的联合量化与动态分区框架
Joint Quantization and Dynamic Partitioning for Context-Aware Edge Vision Transformers
AI 导读
该论文提出一种边缘编排框架，联合选择模型分区点、逐层量化位宽与异构车载计算节点上的执行位置，将联合分区与混合精度分配建模为 MILP，在满足端到端延迟与任务质量约束下最小化计算与通信能耗。
正文 · AI 翻译
摘要：在互联自动驾驶汽车（CAV）上部署视觉 Transformer 模型，需要联合管理计算与车对车（V2V）通信。静态拆分推理方法使用固定分区点，无法适应时变的链路带宽、处理负载和并发多流流量。本文提出一种边缘编排框架，联合选择模型分区点、逐层量化位宽以及异构车载计算节点上的执行放置。联合分区与混合精度分配问题被建模为混合整数线性规划（MILP），在端到端时延和任务质量约束下最小化计算与通信能耗。该框架在 Jetson Orin Nano（8~GB）、Jetson Orin NX（16~GB）和 Jetson AGX Orin（32~GB）节点上，使用 OPV2V 驱动的多流工作负载（$K \in \{2,4,6,8\}$）进行评估。在所评估的配置中，与统一 INT8 拆分相比，所提出的建模方法将 V2V 通信能耗降低了 $33.3$--$36.0\%$。在 $K=8$ 时，与相同基线相比，Orin Nano 上的端到端任务完成时延降低了 $34.0\%$，Orin NX 上降低了 $33.1\%$，同时将 3D 检测精度相对于 FP16 执行的下降限制在 $\mathrm{mAP}_{50}$ 的 $3.1$--$4.1$ 个百分点。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.14196 [cs.AI] |
| （或 arXiv:2611.14196v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.14196 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Saurabh Kumar [查看电子邮件]
[v1]
2026年11月10日星期二 15:18:00 UTC（1,333 KB）
来源：arXiv cs.AI · arxiv.org