新的LLA技术大幅缩减Transformer缓存大小，提升容量

研究人员开发了循环潜在注意力（LLA）技术，这是一种用于循环、权重绑定的Transformer的新型缓存压缩技术。LLA利用了跨递归步骤的键/值（K/V）缓存的结构化、低秩性质，存储紧凑的潜在向量而不是完整的K/V向量。该方法显著提高了批处理容量并减少了内存使用，使Ouro-1.4B等模型能够在单个H200 GPU上以4k上下文处理768个序列，压缩比达到21.3倍。LLA在与其他缓存压缩方法相比时表现出优越的性能，并在Huginn-3.5B等模型上显示出有希望的结果。 AI

影响 减少大型语言模型的内存占用，可能支持更广泛的部署和更长的上下文窗口。

排序理由 详细介绍Transformer架构新技术的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• LLA
• Huginn-3.5B
• Looped Latent Attention
• Ouro-1.4B
• Transformers

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →