一篇新的研究论文深入探讨了Mamba架构的联想召回能力,这是评估自然语言处理中上下文记忆的关键基准。研究表明,Mamba通过隐式学习线性哈希函数来进行召回,并确定了负责这种行为的底层电路。研究人员开发了一个名为召回缩放定律(Recall Scaling Laws)的理论框架,该框架受到诸如Johnson-Lindenstrauss引理等哈希技术的启发,用于预测模型实现完美召回所需的维度,并分析召回能力如何随各种参数进行缩放。 AI
影响 为Mamba的记忆召回提供了理论见解,可能指导未来架构的开发,以改进上下文学习。
排序理由 该集群包含一篇详细阐述人工智能模型能力理论和机制研究的学术论文。
在 Hugging Face Daily Papers 阅读 →
- arXiv
- Associative recall of memory without errors
- CatalyzeX
- DagsHub
- Hugging Face
- IArxiv
- Johnson–Lindenstrauss lemma
- Mamba
- natural language processing
- Recall Scaling Laws
- mechanistic interpretability
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →