Multi-Query NIAH

Engram架构通过高效内存查找增强大型语言模型

一种名为Engram的新型语言模型架构已被开发出来，该架构在其神经网络权重旁边集成了一个可扩展的内存查找表。这种方法允许模型高效地检索常见模式和信息，而不是通过多层进行重构。与同等规模的专家混合（Mixture-of-Experts）模型相比，Engram-27B在MMLU和HumanEval等基准测试中表现出更高的性能，这表明了一种在大型语言模型中处理知识的更有效方式。