InflEns:用博弈数据分配训练LoRA专家并路由
热点事件持续更新
InflEns:用博弈数据分配训练LoRA专家并路由
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
Mark Lovett、Denis Lim 和 Soroush Vosoughi 提出 InflEns,一种混合 LoRA 专家框架:专家的训练权重和推理路由都来自固定提示词特征空间中的同一个位置博弈,因此不需要训练显式的门控网络。作者称,在七个安全相关基准组成的语料上,份额最高的专家在约 90% 的提示词上取得最低的留出响应 NLL;作为对照,打乱分配后该比例约为 15%。
AI 根据报道生成 · 16 分钟前更新
最新进展11月20日 13:00
InflEns:用博弈论数据分配实现 LoRA 专家专业化与路由报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- arXiv cs.MAInflEns:用博弈论数据分配实现 LoRA 专家专业化与路由
InflEns 提出一种混合 LoRA 专家框架,训练权重与推理路由来自固定提示词特征空间中的同一位置博弈,无需训练显式门控即可媲美已发表的学习型门控。在七个安全相关基准组成的语料上,份额最高的专家在约 90% 的提示词上取得最低的留出响应 NLL,而打乱分配后该比例约为 15%。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。