NVIDIA GeForce RTX 3050 Laptop GPU

Swizzle Runtime v0.1.0 提升 4GB GPU 上的 LLM 性能

Swizzle-AI 发布了 Swizzle Runtime v0.1.0，这是一个用 Rust 编写的开源项目，旨在提高大型语言模型在本地硬件上的性能。该运行时实现了显著的速度提升，在 4GB 笔记本 GPU 上达到了每秒 209 个 token 和 43 毫秒的首 token 时间。关键创新包括一种新颖的 GEMM 瓦片方法、一种自推测解码方法以及优化的缓存策略，所有这些都打包成一个单一的静态二进制文件，便于部署。