跳到正文
热点事件持续更新

研究:网络权重留存可解码学习轨迹

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

Patrick Krauss 等作者提交的论文称,训练后的神经网络权重保留了初始化、任务顺序与早期轨迹状态的选择性历史信息。在 30 个训练网络中,全部都能正确匹配到各自的初始权重;线性探针在 80 个留出网络上以 100% 准确率解码两个早期任务的顺序。 但初始权重本身无法被可靠重建:扰动网络可以恢复分类性能,却不会回到原训练路径。此外,2,160 对对齐端点中有 2,157 对在采样插值点上没有正损失障碍,表明不同解之间存在低损失连接。

AI 根据报道生成 · 55 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv cs.AI
    神经网络权重空间与内部表征中留存可解码的学习轨迹痕迹

    训练后的神经网络权重保留了初始化、任务顺序与早期轨迹状态的选择性历史信息:30 个训练网络中全部正确匹配到各自初始权重,线性探针在 80 个留出网络上以 100% 准确率解码两个早期任务的顺序。初始权重本身无法被可靠重建,扰动网络恢复分类性能但不回到原训练路径;2,160 对对齐端点中有 2,157 对在采样插值点上无正损失障碍,表明不同解之间存在低损失连接。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。