研究人员开发了两种新颖的方法,可在不显著损失性能的情况下大幅减小大型语言模型(LLM)的规模和计算成本。Squeeze10-LLM采用分阶段混合精度量化框架,通过将大部分权重量化到1比特,其余量化到4比特,实现了平均每权重1.6比特,提高了零样本任务的准确性。HyQuant专注于优化注意力模块,通过保留关键的“垂直线”令牌和局部窗口以高精度,同时量化剩余状态,从而在各种模型上实现更快的推理和更少的内存使用。 AI
影响 这些量化技术可以显著降低大型语言模型的部署成本并提高其可访问性。
排序理由 该集群描述了两篇关于LLM量化方法的新研究论文。
在 Mastodon — mastodon.social 阅读 →
- arXiv
- Full Information Activation Supervision (FIAS)
- Hugging Face
- LLaMA
- LLMs
- Post-Binarization Activation Robustness (PBAR)
- Squeeze10-LLM
- Yangyang Ren
- FlashAttention-2
- Gemma 4
- GLM-4
- HyQuant
- Llama 3
- Llama~3.1
- Qwen3
- Qwen 3.5
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →