CarbonRouter：多轮LLM服务的碳感知路由框架
热点事件持续更新
CarbonRouter：多轮LLM服务的碳感知路由框架
1 篇报道1 个报道来源11 小时前更新
先了解这件事
AI 综述
Xiaoyang Zhang 等作者提出 CarbonRouter，一个在线碳感知路由框架，为每个查询联合选择模型、GPU 类型和区域，以最小化碳排放。该框架引入缓存感知碳成本模型，将历史重算成本计入每个候选部署。 在覆盖 5 个 LLM、3 种 GPU、4 个区域的两个真实对话数据集实验中，CarbonRouter 的碳排放较 FairCarbon 平均降低 16.1%，超过 30 轮的长会话降幅达 23.1%，同时提升预测答案质量与估计延迟。
AI 根据报道生成 · 2 小时前更新
最新进展10月27日 12:00
CarbonRouter：面向多轮 LLM Web 服务的碳感知路由框架报道时间线
沿着报道，了解事件的不同侧面。
10月27日
- arXiv cs.CYCarbonRouter：面向多轮 LLM Web 服务的碳感知路由框架
CarbonRouter 是一个在线框架，为每个查询联合选择模型、GPU 类型和区域以最小化碳排放，并引入缓存感知碳成本模型，将历史重算成本计入每个候选部署。在覆盖 5 个 LLM、3 种 GPU、4 个区域的两个真实对话数据集实验中，其碳排放较 FairCarbon 平均降低 16.1%，超过 30 轮的长会话降幅达 23.1%，同时提升预测答案质量与估计延迟。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。