负比特量化通过反转张量嵌入释放VRAM

一位研究人员开发了一种名为负比特量化（NBQ）的新技术，声称可以通过“负比特”配置实现稳定的推理，从而有效地释放VRAM。这种被称为相位反转张量嵌入（PITE）的方法，利用破坏性干涉模式将权重表示为亏损，这悖论式地增加了大型模型的可用内存。在Qwen 35B和Llama-3 70B模型上的初步测试表明，困惑度影响很小，同时显著提高了生成速度。 AI

影响 这项新颖的量化技术可以极大地降低大型语言模型的VRAM需求，有可能使更强大的模型在消费级硬件上运行。

排序理由 详细介绍LLM压缩新颖技术的研究论文。[lever_c_从研究降级：ic=1 ai=1.0]

在 r/LocalLLaMA 阅读 →

• 1-bit Floor
• BitNet
• Llama-3 70B
• llama.cpp
• Negative-Bit Quantization
• Nemotron 340B
• Phase-Inverted Tensor Embedding
• Qwen 35B

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →