PulseAugur
中
实时 07:57:44
实体 MeshKV

MeshKV

PulseAugur coverage of MeshKV — every cluster mentioning MeshKV across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
0
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_261464 ·

    MeshKV 架构通过新颖的 NoC KV 缓存结构提升 Transformer 解码性能

    研究人员开发了 MeshKV,这是一种新颖的片上网络(NoC)架构,旨在通过优化键值(KV)缓存的移动来加速 Transformer 解码。该系统将 KV 缓存块视为分组流,从而减少了流量并提高了带宽利用率,解决了传统分块加速器中的瓶颈问题。MeshKV 已在 FPGA 实现中展示了显著的性能提升,包括互连流量减少高达 58%,以及在使用 LLaMA-2 7B 和 Mistral-7B 等模型的多流吞吐量增加 1.9 倍。