研究人员开发了TextNCA，一种基于神经元胞自动机的语言模型，该模型利用分层局部注意力机制。虽然在WikiText-103基准测试中其性能并未超过同等规模的Transformer模型，但TextNCA可作为分析工具，用于理解驱动其行为的组成部分。研究发现，分阶段的窗口大小递增、GRU门的使用以及学习到的嵌入对于性能至关重要，而迭代次数带来的收益是有限的。 AI
影响 为语言建模的替代神经网络架构提供了见解，可能影响未来的研究方向。
排序理由 学术论文，详细介绍了新颖的模型架构及其实验结果。 [lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
