实体
Parity
Parity
PulseAugur coverage of Parity — every cluster mentioning Parity across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
Transformer参数空间几何结构阻碍了对敏感函数的学习
研究人员发现了一个关键原因，解释了为什么Transformer模型难以学习某些函数（例如PARITY）。研究表明，即使这些函数可以被Transformer表示，所需的特定参数设置仅占据参数空间中极小的区域。这使得随机初始化极不可能发现这些设置，从而有效地使标准Transformer架构无法学习此类函数。
-
AI理论论文表明Transformer在奇偶性任务上至少需要两层
研究人员证明，两层Transformer模型是计算PARITY任务（确定二进制序列中1的数量是偶数还是奇数）所需的最低层数。他们证明，单层Transformer由于其平均敏感性增长慢于PARITY，因此无法解决该问题。此外，一种新的构造表明，PARITY可以通过四层Transformer计算，而无需长度依赖的位置编码或hardmax等不切实际的假设，并且与因果掩码兼容。