arXiv cs.AI· Talha Ruzgar Akkus, Suayp Talha Kocabay, Kamer Ali Yuksel, Hassan Sawaf·· 11 小时前AI 评分29
Forward-Forward 算法中 goodness 函数的选择性与形状设计研究
Selectivity and Shape in the Design of Forward-Forward Goodness Functions
AI 导读
研究系统考察了 Forward-Forward（FF）算法中 activity 统计量的选择问题，提出基于 top-k 与 entmax 加权能量的选择性 goodness 函数，以及基于归一化高阶矩的形状敏感目标，其中包括无参数、尺度不变的 burstiness goodness（超额峰度目标）。
正文 · AI 翻译
摘要：Forward-Forward（FF）算法使用局部“goodness 函数”逐层训练网络，但活动统计量的选择仍是一个重要的设计问题。我们系统研究了选择性和活动形状如何影响 FF 学习，引入了基于 top-$k$ 和 entmax 加权能量的选择性 goodness 函数，以及基于归一化高阶矩的形状敏感目标。特别地，我们提出了 burstiness goodness，一种无参数、尺度不变的超额峰度目标，奖励重尾活动模式。我们的研究在六个小图像数据集上考察了 goodness 函数以及激活和标签注入选择，并使用受控实验来分离它们的影响。在验证集调优、五种子 Fashion-MNIST 实验中，匹配 ReLU 激活、标准标签注入和逐层评分，burstiness 将准确率从 $73.2\pm0.9\%$ 提升到 $88.6\pm0.4\%$，优于平方和。在 CIFAR-10 上，在相同的独立逐块标签路径下，burstiness 将块局部 ResNet-18 准确率从 $28.9\pm0.5\%$ 提升到 $46.8\pm2.5\%$。这些结果表明，活动形状统计量可以在测试设置中提供有效的局部学习信号。代码可在 此 https URL 获取。
| 评论： | 已被 NeurIPS 2026 接收（主会，海报）。16 页，1 张图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；神经与进化计算（cs.NE） |
| 引用为： | arXiv:2604.13081 [cs.LG] |
| （或 arXiv:2604.13081v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2604.13081 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Şuayp Talha Kocabay [查看电子邮件]
[v1]
2026 年 3 月 28 日星期六 23:11:21 UTC（24 KB）
[v2]
2026 年 4 月 16 日星期四 20:55:27 UTC（30 KB）
[v3]
2026 年 11 月 5 日星期四 18:59:03 UTC（27 KB）
来源：arXiv cs.AI · arxiv.org