一种名为Engram的新型语言模型架构已被开发出来,该架构在其神经网络权重旁边集成了一个可扩展的内存查找表。这种方法允许模型高效地检索常见模式和信息,而不是通过多层进行重构。与同等规模的专家混合(Mixture-of-Experts)模型相比,Engram-27B在MMLU和HumanEval等基准测试中表现出更高的性能,这表明了一种在大型语言模型中处理知识的更有效方式。 AI
影响 这种架构可以通过改进大型语言模型存储和访问信息的方式,使其更高效、更强大。
排序理由 该集群讨论了一篇详细介绍新型语言模型架构的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →