Fusion-Organ Network

新型FON语言模型挑战Transformer的复杂性

研究人员推出了一种新颖的语言模型FON（Fusion-Organ Network），它解决了传统Transformer的二次注意力复杂性问题。FON采用双器官架构，将内容处理分为用于因果生成的草稿器官和用于通过涟漪核重新处理文本的修订器官。该设计在WikiText-103基准测试中，在相似的参数数量下，实现了O(S)的训练和O(1)的解码状态，性能优于Transformer和Mamba2。