内存受限LLM推理的拥塞动力学模型
热点事件持续更新
内存受限LLM推理的拥塞动力学模型
1 篇报道1 个报道来源11 小时前更新
先了解这件事
AI 综述
Ruicheng Ao等作者提出内存受限LLM推理的离散时间动力学模型，刻画连续批处理下的请求准入、KV cache增长与驱逐过程。 作者分析称，在饱和输入下，无驱逐的固定点不稳定，系统会收敛到唯一的最坏情况极限环，吞吐损失最高达50%。在异构负载中，互质解码长度可稳定无驱逐平衡，非互质长度则产生同步模式并引发不稳定。
AI 根据报道生成 · 2 小时前更新
最新进展10月21日 12:00
内存受限 LLM 推理中的服务自致拥塞机制报道时间线
沿着报道，了解事件的不同侧面。
10月21日
- arXiv cs.AI内存受限 LLM 推理中的服务自致拥塞机制
研究提出内存受限 LLM 推理的离散时间动力学模型，刻画连续批处理下的请求准入、KV cache 增长与驱逐过程。在饱和输入下，无驱逐的固定点不稳定，系统会收敛到唯一的最坏情况极限环，吞吐损失最高达 50%。异构负载中互质解码长度可稳定无驱逐平衡，非互质长度则产生同步模式引发不稳定。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。