Netpreme

Netpreme X-Mem™ 推动大语言模型稀疏注意力吞吐量

Netpreme 开发了 XM-Sparse，这是一个突破大语言模型稀疏注意力极限的新测试平台。通过利用 Netpreme X-Mem™ 技术和 SGLang HiSparse，XM-Sparse 在解码吞吐量方面取得了显著的改进，并减少了每输出 token 的时间 (TPOT)。这些进步是通过高带宽访问卸载的 KV 缓存和增加的内存容量实现的，其性能优于传统的宿主 DRAM。