GyRot框架通过新颖的低比特量化技术提升LLM推理性能

研究人员开发了GyRot，一个新颖的框架和硬件加速器，旨在提高大型语言模型（LLM）推理的低比特量化效率。GyRot通过引入粗粒度旋转、细粒度分组（CoRFiG）和谐波对齐排列（HAP），解决了旋转和分组量化结合时常见的精度下降和硬件开销问题。该方法提高了可量化性，并降低了缩放因子所需的精度。该框架还包括一个基于整数的反量化策略，以进一步降低硬件成本。在INT4张量处理单元架构上实现时，GyRot在LLaMA系列模型上实现了最先进的4位精度，与现有的LLM加速器相比，速度提升高达3.4倍，能效提升高达3.6倍。 AI

影响 提高LLM部署效率，可能使资源受限的硬件上能够更广泛地访问强大的模型。

排序理由 学术论文，详细介绍了一种用于LLM推理的新框架和硬件加速器。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• Coarse Rotation
• DagsHub
• Fine Grouping (CoRFiG)
• Gotit.pub
• Harmonic-Aligned Permutation (HAP)
• Hugging Face
• LLaMA
• LLM
• ScienceCast

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →