arXiv·· 12 天前AI 评分22
Transformer 的精确解体积与长度泛化研究
Exact-Solution Volume and Length Generalization in Transformers
AI 导读
研究提出归一化精确解体积（NESV）指标，衡量有界参数区域内能在所有长度为 n 的输入上精确求解的参数比例，以此考察 Transformer 解的可泛化性。对采用 log n 缩放注意力的固定宽度单层 Transformer，研究给出四项任务的 NESV 渐近界：FIRST 为 Θ(1)，MAJORITY 为 Θ(1/(n log n))，INDEX 为 Θ(1/n^3)，PARITY 为 0。
来源：arXiv · arxiv.org