实体
HQQ
HQQ
PulseAugur coverage of HQQ — every cluster mentioning HQQ across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
PrismML 发布 Bonsai 27B，使 Qwen3.6-27B 可在笔记本电脑和手机上运行
PrismML 发布了 Bonsai 27B，这是 Qwen3.6-27B 的高度压缩版本，有 1 位和三元变体。这些模型旨在在笔记本电脑和手机等消费级硬件上运行，其中 1 位版本仅需 3.9GB，三元版本需要 5.9GB。尽管经过了激进的压缩，三元模型仍保留了原始 FP16 模型约 94.6% 的性能，而 1 位版本则保留了 89.5%，使其适用于需要大上下文窗口和高效内存使用的应用程序。
-
量化研究使更小、更准确的Whisper-small ASR成为可能
一篇新发布的arXiv研究论文评估了用于Whisper-small自动语音识别模型的各种训练后量化（PTQ）技术。该研究测试了PyTorch、Optimum-Quanto、HQQ和bitsandbytes等库，发现使用Quanto的动态int8量化在压缩和准确性之间取得了最佳平衡。该方法将模型大小减少了57%，同时在LibriSpeech数据集上略微提高了词错误率，使得Whisper-small更容易部署在资源受限的设备上。