研究人员开发了ExTernD，一种新颖的大型语言模型（LLM）训练后量化方法，将权重矩阵分解为三元因子。该技术通过使用扩展的内秩来纠正量化误差，从而在低有效比特宽度下实现接近bfloat16的精度水平。ExTernD在Gemma-4-E2B和Qwen3.5-4B等模型上实现了与Q4_K和Q5_K量化相当的性能，提供了精度、内存和计算之间的灵活权衡。 AI
影响 通过降低内存和计算需求而没有显著的精度损失，从而能够更有效地部署LLM。
排序理由 该集群包含一篇详细介绍LLM量化新技术的学术论文。
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →
arXiv:2607.13511v1 Announce Type: cross Abstract: We introduce ExTernD (Expanded-rank Ternary Decomposition), a post-training factorization of each LLM weight matrix $A \in \mathbb{R}^{m \times n}$ into $A \approx B \mathrm{diag}(D) C$ with ternary factors $B \in \{-1,0,+1\}^{m \…
We introduce ExTernD (Expanded-rank Ternary Decomposition), a post-training factorization of each LLM weight matrix $A \in \mathbb{R}^{m \times n}$ into $A \approx B \mathrm{diag}(D) C$ with ternary factors $B \in \{-1,0,+1\}^{m \times k}$, $C \in \{-1,0,+1\}^{k \times n}$ and a …
<!-- SC_OFF --><div class="md"><p><a href="https://arxiv.org/pdf/2607.13511">https://arxiv.org/pdf/2607.13511</a></p> <p>the core idea is, we cannot have ternary PTQ with fixed matrix size, trying to do that is dead end. so i tried decomposing the matrix to 2 ternary matrices and…