WhiteMatter Transformer 架构增强了跨层连接

研究人员推出了一种新颖的 Transformer 架构 WhiteMatter，它增强了跨层连接。与传统 Transformer 中每个层仅访问自身深度的 KV 对不同，WhiteMatter 允许每个注意力层连接来自过去 token 的所有层的表示。这是通过一个将层状态混合到 KV 通道中的路由器实现的，使消费层能够关注这些通道。通道数 k 控制 KV 缓存大小，有望减小内存占用。实验表明，WhiteMatter 的性能优于具有更多层的标准 Transformer，并且即使在 KV 缓存压缩的情况下也能保持显著的提升。 AI

影响 引入了一种新颖的 Transformer 架构，有望提高大型语言模型的效率和性能。

排序理由 该集群包含一篇详细介绍新 Transformer 架构的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• CORE Recommender
• DagsHub
• Gotit.pub
• Hugging Face
• ScienceCast
• Transformer
• WhiteMatter

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →