Alexander Kozachinskiy

AI理论论文表明Transformer在奇偶性任务上至少需要两层

研究人员证明，两层Transformer模型是计算PARITY任务（确定二进制序列中1的数量是偶数还是奇数）所需的最低层数。他们证明，单层Transformer由于其平均敏感性增长慢于PARITY，因此无法解决该问题。此外，一种新的构造表明，PARITY可以通过四层Transformer计算，而无需长度依赖的位置编码或hardmax等不切实际的假设，并且与因果掩码兼容。