实体
Parity
Parity
PulseAugur coverage of Parity — every cluster mentioning Parity across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 3
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
新指标揭示 Transformer 的长度泛化极限
研究人员开发了一种称为归一化精确解体积 (NESV) 的方法来分析 Transformer 的长度泛化能力。该方法量化了 Transformer 参数空间中可跨不同输入长度解决任务的比例。对于 FIRST、MAJORITY、INDEX 和 PARITY 等特定任务，该研究为 NESV 设定了渐近界限，揭示了解决方案体积衰减越快的任务越难泛化。研究还识别了 INDEX 任务中的错误来源，从而在 NESV 方面进行了理论改进，并在在训练长…
-
Transformer参数空间几何结构阻碍了对敏感函数的学习
研究人员发现了一个关键原因，解释了为什么Transformer模型难以学习某些函数（例如PARITY）。研究表明，即使这些函数可以被Transformer表示，所需的特定参数设置仅占据参数空间中极小的区域。这使得随机初始化极不可能发现这些设置，从而有效地使标准Transformer架构无法学习此类函数。
-
AI理论论文表明Transformer在奇偶性任务上至少需要两层
研究人员证明，两层Transformer模型是计算PARITY任务（确定二进制序列中1的数量是偶数还是奇数）所需的最低层数。他们证明，单层Transformer由于其平均敏感性增长慢于PARITY，因此无法解决该问题。此外，一种新的构造表明，PARITY可以通过四层Transformer计算，而无需长度依赖的位置编码或hardmax等不切实际的假设，并且与因果掩码兼容。