Pam

Phase-Associative Memory: Sequence Modeling in Complex Hilbert Space

研究人员引入了一种新颖的复值序列模型，称为相位关联记忆（PAM），它利用希尔伯特空间形式主义来更好地捕捉语义表达含义的不确定性。虽然 PAM 的绝对损失高于其实值对应物，但它随着参数数量的增加表现出更快的改进。这表明 PAM 式架构有可能以显著更少的参数实现最先进的语言模型功能，使其在消费级硬件上可行。