arXiv cs.AI· S\'ilvia Garc\'ia-Hern\'andez, Leema Hamid, Manuel Brenner·· 12 小时前AI 评分26
100 项认知任务中循环动力学的多任务交互研究
Multitask Interactions in Recurrent Dynamics across 100 Cognitive Tasks
AI 导读
研究者在 100 项认知任务上同时训练分层 AL-RNN,发现性能随非线性容量和任务特征维度提升,联合分层模型优于单独训练模型和单一无结构联合模型。许多任务单独用线性动力学即可求解,却无法由共享线性模型共同解决。模型通过任务特征、线性区域使用和任务几何给出多种任务相似度度量,并关联任务复杂度、联合可解性、成对迁移学习与留一法适配。
正文 · AI 翻译
摘要:大脑持续学习计算需求差异极大的任务。循环神经网络(RNN)已被用作研究任务解决方案的动力学替代模型,近期工作将这一方法扩展到多任务组合的联合训练。然而,随着这些任务组合在规模和异质性上不断增长,任务之间如何相互作用仍不清楚:它们在什么条件下相互迁移或相互干扰,这些效应又如何与任务复杂度和模型结构相关?我们通过在 100 个涵盖广泛认知需求的任务上同时训练分层近似线性 RNN(AL-RNN)来研究这一问题。AL-RNN 允许我们改变循环中非线性的程度,而分层任务特征为共享动力学内的任务特定适应提供了低维接口。在该任务组合上,性能随非线性容量和任务特征维度的增加而提升,联合分层模型优于单独训练的模型和单一非结构化联合模型。许多任务可以单独用线性动力学求解,但无法由共享线性模型共同求解。通过分层任务特征、任务特定的线性区域使用以及任务几何,训练后的模型提供了若干相关但不同的任务相似性度量,这些度量刻画了计算在共享主干内如何被分离和组合。通过一系列实验,我们将这些表示与单个任务复杂度、联合可解性、成对迁移学习和留一法适应联系起来。总之,我们的实验刻画了多任务循环学习中的任务交互,同时展示了可复用动力学主干用于认知计算的潜力和挑战。
| 主题: | 机器学习(cs.LG);人工智能(cs.AI);神经元与认知(q-bio.NC) |
| 引用为: | arXiv:2610.33926 [cs.LG] |
| (或 arXiv:2610.33926v1 [cs.LG] 为此版本) | |
| https://doi.org/10.48550/arXiv.2610.33926 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Sílvia García-Hernández [查看邮箱]
[v1]
2026年10月24日星期六 21:38:06 UTC(6,829 KB)
来源:arXiv cs.AI · arxiv.org