实体 Sonic Boom

Sonic Boom

PulseAugur coverage of Sonic Boom — every cluster mentioning Sonic Boom across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

0

90 天内 0

层级分布 · 90 天

主题

时间线

2026-10-13 product_launch SonicBoom, a new C++/CUDA-based tensor runtime for local LLM inference, has been released. 来源

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_296881 · Oct 13 · 09:46

SonicBoom 运行时提升消费级 GPU 上的 LLM 推理速度

SonicBoom，一个新发布的 C++/CUDA 张量运行时，旨在优化消费级 GPU 上的本地 LLM 推理。该运行时通过使用图编译器优化操作，在笔记本 RTX 3050 上实现了比 llama.cpp 快 14% 的解码速度。虽然目前仅支持 Gemma 4 E4B 模型和贪婪采样，但未来的更新旨在扩展模型兼容性并引入像推测解码这样的高级功能。