实体 Zamba2-7B-Instruct

Zamba2-7B-Instruct

PulseAugur coverage of Zamba2-7B-Instruct — every cluster mentioning Zamba2-7B-Instruct across labs, papers, and developer communities, ranked by signal.

Show in brief

总计 · 30天

90 天内 1

发布 · 30天

90 天内 0

论文 · 30天

90 天内 0

层级分布 · 90 天

主题

基础设施 1
产品 1

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_347354 · Nov 8 · 07:01

llama.cpp 发布提升 Zamba2 性能，优化 MoE 缓存

llama.cpp 项目发布了多个预发布版本，包括 b12207，通过优化状态大小为 64 的 SSM_SCAN 内核，显著提升了 Zamba2 类架构的性能。此优化使 Zamba2-7B-Instruct 在 GPU 上的吞吐量提高了约 35%，尽管一些扫描调用仍回退到 CPU，原因尚待确定。其他近期版本，如 b12206 和 b12201，解决了 MoE 缓存和推测解码的问题，确保了在 macOS、iOS、Linux、Androi…

llama.cpp 发布提升 Zamba2 性能，优化 MoE 缓存