实体 Swizzle Runtime

Swizzle Runtime

PulseAugur coverage of Swizzle Runtime — every cluster mentioning Swizzle Runtime across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

0

90 天内 0

层级分布 · 90 天

主题

时间线

2026-11-14 product_launch Swizzle-AI released Swizzle Runtime v0.1.0, an open-source project aimed at improving LLM performance on local hardware. 来源

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_358203 · Nov 14 · 14:55

Swizzle Runtime v0.1.0 提升 4GB GPU 上的 LLM 性能

Swizzle-AI 发布了 Swizzle Runtime v0.1.0，这是一个用 Rust 编写的开源项目，旨在提高大型语言模型在本地硬件上的性能。该运行时实现了显著的速度提升，在 4GB 笔记本 GPU 上达到了每秒 209 个 token 和 43 毫秒的首 token 时间。关键创新包括一种新颖的 GEMM 瓦片方法、一种自推测解码方法以及优化的缓存策略，所有这些都打包成一个单一的静态二进制文件，便于部署。