TextNCA

TextNCA：探索用于语言建模的神经元胞自动机

研究人员开发了TextNCA，一种基于神经元胞自动机的语言模型，该模型利用分层局部注意力机制。虽然在WikiText-103基准测试中其性能并未超过同等规模的Transformer模型，但TextNCA可作为分析工具，用于理解驱动其行为的组成部分。研究发现，分阶段的窗口大小递增、GRU门的使用以及学习到的嵌入对于性能至关重要，而迭代次数带来的收益是有限的。