跳到正文
热点事件持续更新

TopKLoRA:稀疏微调定位后门电路

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

Marek Masiak 等人发表论文,提出 TopKLoRA:一种按设计可解释的 LoRA 变体,每个 token 仅激活 k 个最大的适配器隐变量,且仅用下游损失训练。 研究在 gemma-2-2b、Qwen2.5-1.5B 和 Qwen2.5-7B 的 sleeper-agent 后门案例中,定位并消融了实现后门所必需且充分的电路;所得稀疏电路比稠密 LoRA 基线小最多一个数量级,且不牺牲指令遵循性能。

AI 根据报道生成 · 56 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月26日
  1. arXiv cs.CL
    TopKLoRA:可解释稀疏微调实现忠实电路发现

    TopKLoRA 是一种按设计可解释的 LoRA 变体,每个 token 仅激活 k 个最大的适配器隐变量,且仅用下游损失训练。研究在 gemma-2-2b、Qwen2.5-1.5B 和 Qwen2.5-7B 的 sleeper-agent 后门案例中定位并消融了实现后门所必需且充分的电路,所得稀疏电路比稠密 LoRA 基线小最多一个数量级,且不牺牲指令遵循性能。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。