研究人员开发了 MeshKV,这是一种新颖的片上网络(NoC)架构,旨在通过优化键值(KV)缓存的移动来加速 Transformer 解码。该系统将 KV 缓存块视为分组流,从而减少了流量并提高了带宽利用率,解决了传统分块加速器中的瓶颈问题。MeshKV 已在 FPGA 实现中展示了显著的性能提升,包括互连流量减少高达 58%,以及在使用 LLaMA-2 7B 和 Mistral-7B 等模型的多流吞吐量增加 1.9 倍。 AI
影响 优化了 Transformer 模型的 KV 缓存移动,有望提高大型语言模型的推理速度和可扩展性。
排序理由 该集群描述了在 arXiv 研究论文中提出的一种新颖架构。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →