研究人员开发了N-gram Memory (NGM),一个旨在增强大语言模型 (LLMs) 而无需额外训练的新型模块。NGM利用模型现有的预训练token嵌入作为记忆存储,使用因果N-gram编码器和余弦门控记忆注入器。这种即插即用的方法避免了对独立记忆库或复杂检索系统的需求。NGM已在包括Qwen3和Llama-3.2-Instruct在内的各种基准测试和模型骨干上展示了持续的性能提升,并且对于Qwen3-VL-2B等视觉语言模型也显示出有效性。 AI
影响 这个无训练记忆模块可以简化大语言模型的开发,并提高在复杂任务上的性能。
排序理由 该集群包含一篇详细介绍增强大语言模型新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →