bitsandbytes
PulseAugur coverage of bitsandbytes — every cluster mentioning bitsandbytes across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
研究发现：LLM 中的量化加剧了前摄性干扰
一篇来自 arXiv 的新研究论文探讨了训练后量化（PTQ）对大型语言模型（LLM）的影响，特别是研究了不同精度级别如何影响前摄性干扰（PI）。研究发现，常用于 bitsandbytes 库的 INT4 量化会显著降低 Qwen2.5-7B-Instruct、Mistral 7B Instruct v0.3 和 Phi-3.5-mini-instruct 等模型在高干扰下的准确性。即使是 INT8 量化在某些模型中也显示出较小但可察觉…
-
bitsandbytes 创建者预告新的大语言模型量化方法
bitsandbytes 的创建者 Tim Dettmers 预告了一种新的大语言模型量化方法。尽管细节稀少，但据称该方法可以使 GLM 5.3 等模型在单台 DGX Spark 等硬件上高效运行。Dettmers 在量化领域的过往工作为该声明增添了可信度，但由于该领域过去曾有过未兑现的承诺，社区仍持谨慎乐观态度。
-
研究发现：量化对代码生成模型影响不同
一项新研究调查了各种量化方法对大型代码生成模型在资源受限硬件上运行时性能的影响。研究人员使用 Python 和 Java 基准测试，在 Qwen2.5-Coder 和 CodeLlama 模型上评估了包括 GPTQ、AWQ 和 AQLM 在内的六种最先进技术。研究结果表明，量化方法对代码的正确性和质量有显著且不同的影响，其中 AQLM 的表现与全精度模型相当，而 QuIP# 的性能下降最大。
-
QLoRA 支持在 16GB GPU 上微调 7B 模型
一种名为 QLoRA 的新技术通过将基础模型量化到 4 位精度，实现了在消费级 GPU 上微调大型语言模型。该方法显著减小了冻结基础模型的内存占用，使得一个 70 亿参数的模型能够装入 16GB GPU，且内存使用量仅为 5.44GB。虽然训练过程较慢，但 QLoRA 的主要优势在于使得在原本不足的硬件上进行大型模型微调成为可能。
-
通过优化 KV 缓存和量化来修复本地 LLM OOM 错误
即使模型的权重似乎适合可用 VRAM，在本地运行大型开源语言模型也可能导致内存不足错误。这主要是由于 KV 缓存（其大小随上下文长度而变化）和推理过程中的中间激活内存需要大量内存。开发人员可以通过使用 PyTorch 的内存快照等工具分析内存使用情况、对模型权重和 KV 缓存应用适当的量化技术以及管理内存碎片来解决这些问题。
-
量化研究使更小、更准确的Whisper-small ASR成为可能
一篇新发布的arXiv研究论文评估了用于Whisper-small自动语音识别模型的各种训练后量化（PTQ）技术。该研究测试了PyTorch、Optimum-Quanto、HQQ和bitsandbytes等库，发现使用Quanto的动态int8量化在压缩和准确性之间取得了最佳平衡。该方法将模型大小减少了57%，同时在LibriSpeech数据集上略微提高了词错误率，使得Whisper-small更容易部署在资源受限的设备上。
-
4 位量化是本地 LLM 的实用最佳选择
对于大多数在本地运行大型语言模型（LLM）的用户来说，4 位量化在性能和质量之间提供了实用的平衡，与 8 位相比显著降低了 VRAM 需求。虽然 4 位模型在复杂任务上的推理能力可能略有下降，但在文本生成和指令遵循方面几乎没有变化。这种方法对于在消费级硬件上进行交互式聊天和典型生产工作负载尤其有利，能够加快推理速度，并使在性能较低的 GPU 上也能运行更大的模型。
-
开发者使用 QLoRA 在 3GB GPU 上微调 LLM
开发者可以使用 QLoRA 和 NF4 量化等技术，在仅需 3 GB GPU 内存的消费级硬件上微调 TinyLlama 等大型语言模型。此过程仅训练模型的一小部分参数，显著降低了计算需求。尽管该过程可能很复杂，在调试、提示格式化和依赖管理方面存在挑战，但它为独立开发者构建复杂的 AI 应用程序提供了一条途径。
-
量化影响大语言模型事实回忆，不同模型和方法效果各异
一篇新论文研究了用于压缩大语言模型的量化技术如何影响其回忆事实知识的能力。研究人员发现，虽然量化通常会导致信息丢失和事实回忆能力下降，尤其是在较小的模型中，但影响通常不大。有趣的是，量化并不总是会降低性能，有时甚至可以提高事实回忆能力，其中BitSandBytes在保留原始模型能力方面表现最佳。
-
Hugging Face 推出用于高效 LLM 的先进量化技术
研究人员正在开发先进的量化技术，以提高大型语言模型 (LLM) 的效率。AutoRound、LATMiX 和 GSQ 等新方法旨在减小模型大小和计算需求，从而能够在功能较弱的硬件上进行部署。这些方法侧重于优化模型权重和激活在较低比特宽度下的表示方式，其中一些方法已达到与更高精度模型相当的准确性。创新包括用于训练后量化的新颖校准策略和用于提高鲁棒性的可学习仿射变换。