English(EN) Low-Bit Recurrent States in Hybrid Language Models

新型量化方法大幅减少混合语言模型的比特数

作者 PulseAugur 编辑部 · [1 个来源] · 2026-09-29 04:00

研究人员开发了一种新颖的混合语言模型循环状态量化方法，使用更少的比特，显著降低了计算和内存需求。通过从可观性Gramian导出失真权重，并采用混合精度比特分配而无需校准数据，他们在负对数似然方面取得了显著改进。四比特平均负载与基线相比，误差最多减少了27.9倍，而六比特负载与FP32状态基线相比，差异极小。 AI

影响降低了混合语言模型的计算和内存开销，有可能在性能较低的硬件上进行部署。

排序理由详细介绍语言模型新技术的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.LG TIER_1 English(EN) · Hongren Chen, Jiayang He · 2026-09-29 04:00

混合语言模型中的低比特循环状态

arXiv:2609.30950v1 Announce Type: new Abstract: Hybrid language models maintain fixed-size recurrent states, but existing quantizers typically use eight bits or more. Quantization errors persist according to channel decay rates. We derive distortion weights from the observability…

报道来源 [1]

混合语言模型中的低比特循环状态

相关实体

相关话题