TopKLoRA:稀疏微调定位后门电路
热点事件持续更新
TopKLoRA:稀疏微调定位后门电路
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Marek Masiak 等人发表论文,提出 TopKLoRA:一种按设计可解释的 LoRA 变体,每个 token 仅激活 k 个最大的适配器隐变量,且仅用下游损失训练。 研究在 gemma-2-2b、Qwen2.5-1.5B 和 Qwen2.5-7B 的 sleeper-agent 后门案例中,定位并消融了实现后门所必需且充分的电路;所得稀疏电路比稠密 LoRA 基线小最多一个数量级,且不牺牲指令遵循性能。
AI 根据报道生成 · 56 分钟前更新
最新进展10月26日 12:00
TopKLoRA:可解释稀疏微调实现忠实电路发现报道时间线
沿着报道,了解事件的不同侧面。
10月26日
- arXiv cs.CLTopKLoRA:可解释稀疏微调实现忠实电路发现
TopKLoRA 是一种按设计可解释的 LoRA 变体,每个 token 仅激活 k 个最大的适配器隐变量,且仅用下游损失训练。研究在 gemma-2-2b、Qwen2.5-1.5B 和 Qwen2.5-7B 的 sleeper-agent 后门案例中定位并消融了实现后门所必需且充分的电路,所得稀疏电路比稠密 LoRA 基线小最多一个数量级,且不牺牲指令遵循性能。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。