Layer-Integrated Memory

新的LIMe扩展提升了Transformer的表示能力

研究人员推出了一种名为层集成记忆（LIMe）的新型Transformer模型扩展，旨在增强其表示能力。与仅依赖前一层隐藏状态的传统Transformer不同，LIMe通过学习到的路由权重整合了早期层的表示。这种方法旨在缓解表示崩溃，并提高在语言建模和合成推理等各种任务上的性能。该方法在每FLOP的困惑度（perplexity per FLOP）和更好的token可分性方面均有所提升，学习到的权重表明特征得到了系统性重用。