研究人员推出了一种新颖的语言模型非线性记忆系统“Toaster”,旨在高效处理长序列。Toaster 将易于训练的线性记忆与两层结构和目标传播相结合,实现了非线性能力。实验表明,在各种模型大小和数据集上,Toaster 与 KDA 和 Titans 等现有方法相比,实现了更低的损失和困惑度,同时在多项任务上展现出具有竞争力或改进的准确性,并在长度外推方面表现更好。 AI
影响 引入了一种新颖的记忆架构,可以提高长上下文语言模型的效率和性能。
排序理由 这是一篇详细介绍语言模型新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- C4 model
- CatalyzeX Code Finder for Papers
- Connected Papers
- DagsHub
- DeltaNet
- Gotit.pub
- Hugging Face
- Influence Flower
- Litmaps
- PG19
- ScienceCast
- scite Smart Citations
- Tennessee Titans
- Toaster
- TTT-MLP
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →