arXiv cs.AI· Shinan Liu, Ted Shaowang, Gerry Wan, Jeewon Chae, Jonatas Marques, Sanjay Krishnan, Nick Feamster·· 3 天前AI 评分24
FlowWise：面向流式流量的有状态快慢模型服务系统
FlowWise: Stateful Fast-Slow Model Serving for Streaming Traffic Intelligence
AI 导读
FlowWise 是一个面向流式有状态流量智能的服务系统，通过不确定性驱动的快慢级联，先用单包模型给出早期预测，仅将不确定的流升级到等待更多数据包的慢模型。它能在 16 ms 内服务 76.3% 的流，中位端到端延迟改善 40.5x，单台 16 核 CPU 服务器每秒可承载超 48.5k 新流，代码已开源。
正文 · AI 翻译
摘要：在云和互联网服务提供商（ISP）网络中，流量分析日益依赖机器学习（ML）模型，因为加密和服务整合使基于规则的分类变得不可靠。然而，在高流到达率下，新流的到达速度可能快于端到端分析管道的处理速度。与典型的云推理工作负载不同，同一流的数据包随时间陆续到达，并且需要维护每流状态。这种流式、有状态的场景限制了使用无状态工作进程进行简单的横向扩展。本文提出了 FlowWise，一个在通用 CPU/GPU 服务器上用于流式、有状态流智能的服务系统，它联合选择 (i) 收集多少个数据包以及 (ii) 对每个流应用哪个（些）模型，以平衡延迟、服务速率和准确率。在三个代表性任务中，候选模型之间的推理时间相差 1.8 倍至 141.3 倍，而在尾部，数据包等待时间可能超过特征计算和推理 6 至 8 个数量级。FlowWise 利用这些差距，采用不确定性驱动的快慢级联：它从单包模型给出早期预测，仅将不确定的流升级到更慢的模型，这些模型会等待更多数据包并使用更丰富的特征。以队列为中心的运行时维护每流状态，执行异步特征拼接，并使用代理的、以流 ID 为键的流来将工作负载分布到异构工作进程上。FlowWise 在 16 毫秒内服务 76.3% 的流，将中位端到端服务延迟改善 40.5 倍，同时提高服务速率，并保持与始终运行慢模型相似的准确率。在每流有数千个数据包头特征的情况下，我们的纵向扩展基准测试在单台 16 核通用 CPU 服务器上每秒维持超过 48.5k 个新流，与城市骨干网流量轨迹中报告的流到达率相当。FlowWise 已在 此 https URL 开源。
| 评论： | 被 SoCC 2026 接收 |
| 主题： | 网络与互联网架构（cs.NI）；人工智能（cs.AI） |
| 引用为： | arXiv:2402.03694 [cs.NI] |
| （或 arXiv:2402.03694v3 [cs.NI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2402.03694 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Shinan Liu [查看电子邮件]
[v1]
2024 年 2 月 6 日星期二 04:28:33 UTC（2,552 KB）
[v2]
2024 年 10 月 24 日星期四 14:15:42 UTC（3,473 KB）
[v3]
2026 年 10 月 11 日星期日 00:38:29 UTC（1,621 KB）
来源：arXiv cs.AI · arxiv.org