PulseAugur
中
实时 14:02:03
实体 bitsandbytes

bitsandbytes

PulseAugur coverage of bitsandbytes — every cluster mentioning bitsandbytes across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
5
90 天内 15
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 3
层级分布 · 90 天
主题
关系
情绪 · 30 天

4 天有情绪数据

最近 · 第 1/1 页 · 共 18 条
  1. TOOL · CL_369449 ·

    LLM 量化失败:离群值将 99.9% 的数据归零

    一篇技术博文详细介绍了大型语言模型 (LLM) 的 INT4 和 INT8 量化中因离群值引起的关键故障模式。当 4,096 个浮点数块中存在单个离群值时,它会导致其中 4,095 个数字在 INT4 中被量化为零,从而有效地破坏了非离群值的信号。这种现象解释了为什么每张量 INT4 量化很少使用,为什么 GPTQ 等方法中的组大小有限,以及 `llm_int8_threshold` 等参数的用途。该帖子建议修复方法包括防止离群值主导…

  2. RESEARCH · CL_340607 ·

    LoRA 微调详解:训练内容、内存使用和数据集影响

    本文深入探讨了 LoRA 微调的具体细节,解释了虽然它只训练模型参数的一小部分,但实际过程更为复杂。文章详细介绍了 LoRA 如何通过向特定层添加适配器矩阵来工作,主要是在 transformer 块的 MLP 投影中。分析强调,大部分内存使用来自冻结的基础模型权重,而可训练的适配器则显著更小。此外,文章还阐明,小型数据集会导致优化器更新次数有限,足以进行风格更改,而不是传授新知识。

  3. SIGNIFICANT · CL_331254 ·

    Mistral AI 发布开源 Mistral Large 4 模型权重

    Mistral AI 已发布 Mistral Large 4 的权重,这是一个拥有 70 亿参数的密集 Transformer 模型,采用宽松的 Apache-2.0 许可证。此次开源发布提供了同类模型中的领先性能,能够以较低成本在单个 GPU 上进行扩展,并为开发者提供比专有 API 更大的控制权和隐私性。该模型易于集成到现有的 AI 基础设施中,包括 LangChain 和 LlamaIndex 管道,并附带 Docker 镜像和…

  4. TOOL · CL_328335 ·

    LoRA 在速度和内存使用方面优于 QLoRA 和全量微调

    最近在 L40S GPU 上对 Qwen2.5-1.5B-Instruct 模型进行了三种微调方法的基准测试:全量微调、LoRA 和 QLoRA。全量微调需要最多的内存,在使用 4 的微批次大小时消耗了 36.9 GiB。LoRA 比全量微调更快,内存使用更少,为 14.5 GiB,并实现了略低的留出损失。出人意料的是,QLoRA 比其他两种方法都慢,并且比 LoRA 使用了更多的内存。

  5. TOOL · CL_295534 ·

    Triton 内核可匹敌 bitsandbytes,但 Qwen2.5 解码时 bfloat16 更胜一筹

    一位开发者为 Qwen2.5-1.5B-Instruct 模型创建了自定义 Triton 内核,用于批次大小为 1 的解码,目的是了解性能瓶颈,而不是超越 Marlin 等优化库。该内核专为 GeForce RTX 3060 设计,显示批次大小为 1 的解码主要受内存带宽限制。虽然自定义内核的性能与 bitsandbytes 相当,但两者都明显逊色于使用 bfloat16 的情况,这表明对于此特定任务和硬件配置而言,内存带宽是关键的限制因素。

  6. COMMENTARY · CL_278868 ·

    量化对大型语言模型的影响:解释质量与压缩

    dev.to 上最近的一篇讨论探讨了量化对大型语言模型的影响,特别是在 OpenCode Go 订阅服务的背景下。量化压缩模型权重以降低内存和计算需求,但其有效性因使用的方法和比特深度而异。虽然 Q8_0 和 Q5_K_M 等较高比特深度几乎保留了原始模型的所有质量,但 Q4_K_M,尤其是 Q2_K 等较低比特深度可能导致性能明显下降,这可能解释了用户对使用经过大量量化模型的服务的抱怨。

  7. TOOL · CL_233963 ·

    为企业工作负载微调开源大语言模型的指南

    本指南详细介绍了为企业用途微调开源大语言模型的过程。它涵盖了使用 CUDA 设置 PyTorch、通过 Hugging Face CLI 进行身份验证以及使用 bitsandbytes 配置 4 位量化。该教程还解释了如何使用 PEFT LoRA 适配器运行 SFTTrainer,并为不同模型大小提供了 VRAM 扩展指南。

  8. TOOL · CL_218701 ·

    指南解释本地部署大语言模型所需的VRAM

    在本地运行大语言模型需要仔细管理VRAM,因为模型大小和量化会显著影响内存使用。虽然没有精确的公式,但可以通过考虑模型的参数数量、权重的比特宽度(例如FP16、INT8、INT4)以及激活和临时缓冲区的开销来估算VRAM需求。Ollama、GPTQ和bitsandbytes等工具可以促进量化,从而减小内存占用。例如,一个量化到INT8的130亿参数模型可能需要大约18 GB的VRAM,这个数字可以使用nvidia-smi等工具进行检查。

  9. TOOL · CL_210504 ·

    研究发现:LLM 中的量化加剧了前摄性干扰

    一篇来自 arXiv 的新研究论文探讨了训练后量化(PTQ)对大型语言模型(LLM)的影响,特别是研究了不同精度级别如何影响前摄性干扰(PI)。研究发现,常用于 bitsandbytes 库的 INT4 量化会显著降低 Qwen2.5-7B-Instruct、Mistral 7B Instruct v0.3 和 Phi-3.5-mini-instruct 等模型在高干扰下的准确性。即使是 INT8 量化在某些模型中也显示出较小但可察觉…

  10. TOOL · CL_201266 ·

    bitsandbytes 创建者预告新的大语言模型量化方法

    bitsandbytes 的创建者 Tim Dettmers 预告了一种新的大语言模型量化方法。尽管细节稀少,但据称该方法可以使 GLM 5.3 等模型在单台 DGX Spark 等硬件上高效运行。Dettmers 在量化领域的过往工作为该声明增添了可信度,但由于该领域过去曾有过未兑现的承诺,社区仍持谨慎乐观态度。

  11. TOOL · CL_148005 ·

    研究发现:量化对代码生成模型影响不同

    一项新研究调查了各种量化方法对大型代码生成模型在资源受限硬件上运行时性能的影响。研究人员使用 Python 和 Java 基准测试,在 Qwen2.5-Coder 和 CodeLlama 模型上评估了包括 GPTQ、AWQ 和 AQLM 在内的六种最先进技术。研究结果表明,量化方法对代码的正确性和质量有显著且不同的影响,其中 AQLM 的表现与全精度模型相当,而 QuIP# 的性能下降最大。

  12. TOOL · CL_102624 ·

    QLoRA 支持在 16GB GPU 上微调 7B 模型

    一种名为 QLoRA 的新技术通过将基础模型量化到 4 位精度,实现了在消费级 GPU 上微调大型语言模型。该方法显著减小了冻结基础模型的内存占用,使得一个 70 亿参数的模型能够装入 16GB GPU,且内存使用量仅为 5.44GB。虽然训练过程较慢,但 QLoRA 的主要优势在于使得在原本不足的硬件上进行大型模型微调成为可能。

  13. TOOL · CL_45371 ·

    通过优化 KV 缓存和量化来修复本地 LLM OOM 错误

    即使模型的权重似乎适合可用 VRAM,在本地运行大型开源语言模型也可能导致内存不足错误。这主要是由于 KV 缓存(其大小随上下文长度而变化)和推理过程中的中间激活内存需要大量内存。开发人员可以通过使用 PyTorch 的内存快照等工具分析内存使用情况、对模型权重和 KV 缓存应用适当的量化技术以及管理内存碎片来解决这些问题。

  14. TOOL · CL_44843 ·

    量化研究使更小、更准确的Whisper-small ASR成为可能

    一篇新发布的arXiv研究论文评估了用于Whisper-small自动语音识别模型的各种训练后量化(PTQ)技术。该研究测试了PyTorch、Optimum-Quanto、HQQ和bitsandbytes等库,发现使用Quanto的动态int8量化在压缩和准确性之间取得了最佳平衡。该方法将模型大小减少了57%,同时在LibriSpeech数据集上略微提高了词错误率,使得Whisper-small更容易部署在资源受限的设备上。

  15. COMMENTARY · CL_42826 ·

    4 位量化是本地 LLM 的实用最佳选择

    对于大多数在本地运行大型语言模型(LLM)的用户来说,4 位量化在性能和质量之间提供了实用的平衡,与 8 位相比显著降低了 VRAM 需求。虽然 4 位模型在复杂任务上的推理能力可能略有下降,但在文本生成和指令遵循方面几乎没有变化。这种方法对于在消费级硬件上进行交互式聊天和典型生产工作负载尤其有利,能够加快推理速度,并使在性能较低的 GPU 上也能运行更大的模型。

  16. RESEARCH · CL_40249 ·

    开发者使用 QLoRA 在 3GB GPU 上微调 LLM

    开发者可以使用 QLoRA 和 NF4 量化等技术,在仅需 3 GB GPU 内存的消费级硬件上微调 TinyLlama 等大型语言模型。此过程仅训练模型的一小部分参数,显著降低了计算需求。尽管该过程可能很复杂,在调试、提示格式化和依赖管理方面存在挑战,但它为独立开发者构建复杂的 AI 应用程序提供了一条途径。

  17. RESEARCH · CL_10091 ·

    量化影响大语言模型事实回忆,不同模型和方法效果各异

    一篇新论文研究了用于压缩大语言模型的量化技术如何影响其回忆事实知识的能力。研究人员发现,虽然量化通常会导致信息丢失和事实回忆能力下降,尤其是在较小的模型中,但影响通常不大。有趣的是,量化并不总是会降低性能,有时甚至可以提高事实回忆能力,其中BitSandBytes在保留原始模型能力方面表现最佳。

  18. RESEARCH · CL_01274 ·

    Hugging Face 推出用于高效 LLM 的先进量化技术

    研究人员正在开发先进的量化技术,以提高大型语言模型 (LLM) 的效率。AutoRound、LATMiX 和 GSQ 等新方法旨在减小模型大小和计算需求,从而能够在功能较弱的硬件上进行部署。这些方法侧重于优化模型权重和激活在较低比特宽度下的表示方式,其中一些方法已达到与更高精度模型相当的准确性。创新包括用于训练后量化的新颖校准策略和用于提高鲁棒性的可学习仿射变换。