实体 H128/Q4-G32-DOT4

H128/Q4-G32-DOT4

PulseAugur coverage of H128/Q4-G32-DOT4 — every cluster mentioning H128/Q4-G32-DOT4 across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

0

90 天内 0

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_240905 · Sep 7 · 20:09

Qwen 3.5 0.8B 模型通过新的量化格式针对 CPU 进行了优化

一位开发者为 Qwen 3.5 0.8B 模型创建了一个自定义 C++ 引擎和一种新的 4 位量化格式 H128/Q4-G32-DOT4。这种新格式使模型大小减小到 425 MB，比 Unsloth 的混合精度 Q4_0 小 71 MB。在 Ryzen 9 9955HX3D CPU 上的基准测试显示性能显著提升，自定义引擎的预填充速度最高可达 2.9 倍，批处理 16 的吞吐量比其他引擎高 1.7 倍。