ActTail 提出全局激活稀疏分配方法
热点事件持续更新
ActTail 提出全局激活稀疏分配方法
1 篇报道1 个报道来源11 小时前更新
先了解这件事
AI 综述
Wenwen Hou 等作者提出 ActTail，一种基于重尾自正则化（HT-SR）理论的全局激活稀疏分配方法：按各投影层的重尾指数分配不同的稀疏预算，替代统一稀疏策略。 在 LLaMA 和 Mistral 上，80% 稀疏度下，LLaMA-2-7B 困惑度降低 21.8%、LLaMA-2-13B 降低 40.1%、Mistral-7B 降低 9.4%，下游任务表现也同步提升。这些数字来自作者论文，尚未见独立复现。
AI 根据报道生成 · 40 分钟前更新
最新进展10月27日 12:00
ActTail：基于全局激活稀疏性的大语言模型推理加速方法报道时间线
沿着报道，了解事件的不同侧面。
10月27日
- arXiv cs.CLActTail：基于全局激活稀疏性的大语言模型推理加速方法
ActTail 提出一种基于 Heavy-Tailed Self-Regularization（HT-SR）理论的全局激活稀疏分配方法，按各投影层重尾指数分配差异化稀疏预算，替代统一稀疏策略。在 LLaMA 和 Mistral 上，80% 稀疏度下 LLaMA-2-7B 困惑度降低 21.8%、LLaMA-2-13B 降低 40.1%、Mistral-7B 降低 9.4%，并同步提升下游任务表现。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。