一篇新的 arXiv 论文挑战了 Mamba 模型在上下文检索方面表现不如 Transformer 是由于状态容量限制的假设。研究人员发现，即使查询先于上下文出现，Mamba 模型也落后于 Transformer。这是因为检索的相关性信号是随着模型深度逐渐出现的，而 Mamba 的选择门要到几层之后才能与该信号对齐，从而阻碍了成功的检索，这超出了状态容量问题。 AI
影响 突出了 Mamba 架构在检索任务方面的一个潜在瓶颈，表明需要进一步研究才能获得有竞争力的性能。
排序理由 分析模型性能和局限性的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
