half-precision floating-point format
PulseAugur coverage of half-precision floating-point format — every cluster mentioning half-precision floating-point format across labs, papers, and developer communities, ranked by signal.
- instance of single-precision floating-point format 90%
- used by graphics processing unit 70%
- used by single-precision floating-point format 70%
- used by Int8 70%
- instance of Int8 70%
- instance of bfloat16 70%
- instance of Fp8 70%
- used by Q4_K_M 70%
- instance of INTS8 70%
- used by Flashattention 70%
- used by central processing unit 60%
- competes with INTS8 60%
9 天有情绪数据
-
指南:通过大小和量化估算本地 LLM 的 RAM 和 VRAM 需求
估算在本地运行大型语言模型(LLM)的内存需求,需要了解参数数量和量化级别。计算公式涉及将模型的参数数量乘以所选精度(例如 FP16、INT8、INT4)下的每参数字节数,然后加上约 20% 的 KV 缓存和运行时开销。量化显著减小了内存占用,使得模型在消费级硬件上更容易运行,尽管它可能会影响质量。VRAM 决定了处理速度,而系统 RAM 对于模型能否加载至关重要。
-
New 6-bit and 8-bit formats boost R&R model inference speed without quality loss
研究人员开发了新的微缩格式MXFP8和MXFP6,以提高数字广告中使用的推荐和排序(R&R)模型的效率。这些模型对精度损失高度敏感,要求质量保持在与FP16或FP32相比0.01%的误差范围内。新格式能够显著提高推理吞吐量的速度,其中MXFP6相比FP16的速度提升了1.73倍至1.99倍,在单个层上最高可达2.90倍,同时保持了模型质量。
-
LLM temperature=0 的输出可能因浮点数计算和共享 GPU 而异
在大型语言模型中将 `temperature=0` 设置为保证确定性输出的普遍假设是错误的。这是因为浮点数算术,特别是在 `float16` 精度下,不是满足结合律的,导致在不同顺序计算总和时产生略微不同的结果。此外,LLM 推理中用于矩阵乘法的 GPU 内核在其求和顺序方面并不总是确定性的,因为这可能取决于批次大小等因素,而批次大小又受共享 GPU 的其他用户流量的影响。计算出的 logits 的这些细微差异可能导致模型选择不同的 …
-
新的神经压缩框架支持光纤传感数据的实时处理
研究人员开发了STeP-C,一个专为大规模分布式光纤传感数据实时处理设计的神经压缩框架。该系统通过解耦空间编码、时间预测和熵编码来解决海量数据生成带来的挑战。STeP-C实现了显著的文件大小缩减和高吞吐量,性能优于传统编解码器,并保持了下游检测任务的一致性。
-
新方法提高了RL训练后BF16的收敛速度
一篇新的研究论文提出了一种方法,使用bfloat16 (BF16) 精度来提高强化学习 (RL) 训练后的收敛速度。研究发现,“权重粘滞”是导致BF16相比FP16收敛速度较慢的原因,即FP32影子权重的微小更新不会立即反映在用于训练的BF16权重中。通过在将FP32影子权重量化为BF16的过程中应用随机舍入,该方法在无需损失缩放或更宽动态范围的情况下,匹配了FP16的收敛速度,同时还减少了KL散度。
-
边缘AI框架为联网汽车优化视觉Transformer
研究人员开发了一个新的框架,用于优化视觉Transformer模型在联网和自动驾驶汽车(CAVs)中的部署。该框架通过动态调整模型分区点、量化比特宽度以及跨各种车载计算节点的执行位置,解决了静态分层推理方法的局限性。该系统旨在最小化计算和V2V通信的能耗,同时遵守延迟和任务质量的约束。
-
LLM推理:KV缓存先于消费级GPU上的计算限制而填满
文章解释了LLM推理中的“ridge”(瓶颈)概念,指的是模型计算受内存带宽而非处理能力限制的点。文章详细介绍了GPU架构、模型大小和量化级别等因素如何影响这个“ridge”。作者纠正了之前的错误计算,澄清对于RTX 4090等消费级GPU,KV缓存通常在达到ridge之前就已填满,从而限制了实际的上下文长度。
-
本地大语言模型内存需求:权重、KV缓存和可用内存详解
估算本地大语言模型所需的内存包括计算模型权重、KV缓存和开销的总和,然后将其与设备上可用的内存进行比较。量化显著影响权重大小,Q4_K_M等格式比FP16需要更少的内存。KV缓存对于生成文本至关重要,它随上下文长度线性增长,这意味着在4K上下文下能运行的模型在32K下可能无法运行。可用内存因硬件而异,Apple Silicon的统一内存需要一部分用于操作系统,而独立GPU的显存是严格的限制。最终,模型需要低于可用内存的80%才能可靠运…
-
自监督SAR-光学编码器在x86硬件上的性能分析
研究人员评估了用于地球观测任务的自监督视觉Transformer编码器在商品x86硬件上的性能。研究发现,INT8量化对准确度的影响微乎其微,micro-mAP仅变化了+0.0006。这种量化显著降低了各种x86节点上的CPU延迟和能耗,在没有AVX2的CPU上延迟提高了高达1.45倍。随着CPU能力的提高,推理的最佳硬件从集成GPU转向CPU。
-
新方法支持使用手机NPU进行设备端大模型微调
研究人员开发了一种新颖的方法,利用手机的神经网络处理单元(NPU)对大型语言模型(LLM)进行设备端微调。该系统名为First-Order LoRA Training,能够让LLM直接在设备上从用户的私有数据中学习,而无需上传数据。该方法优化了NPU在权重乘法中的使用,并将训练图和适配器卸载到CPU,从而提高了效率并保持了梯度精度。
-
LLM KV 缓存显存计算器:将大上下文装入有限内存
一篇技术博文详细介绍了如何计算大语言模型上下文长度所需的显存(VRAM),重点关注 KV 缓存。它提供了一个公式,根据模型架构和上下文大小估算显存需求,并为 Qwen3 32B 和 Llama 3.3-70B 等热门模型的每 token 缓存大小提供了数据。该博文还概述了将更大上下文装入有限显存的策略,包括 KV 缓存量化、设置适当的上下文限制以及管理并行性。
-
PrismQuant框架优化LLM量化以提升性能
研究人员推出PrismQuant,一个旨在优化大型语言模型分组量化器的新框架。该方法侧重于将激活特征空间与量化器的子空间对齐,从而提高性能和效率。在Llama、Qwen和Mistral等模型上进行的实验表明,在困惑度和准确性方面取得了最先进的成果,与传统的浮点格式相比,速度显著加快,内存使用量也大大减少。
-
Bonsai 量化技术将大型语言模型压缩至 5.9GB,智能保留率达 98.2%
一种名为“Bonsai”的大型语言模型量化新方法已被开发出来,显著减小了模型尺寸,同时保留了高比例的智能。该技术将 27B 类模型压缩至约 5.9 GB,相比 FP16 模型通常的 54 GB 有了大幅缩减。Bonsai 通过使用三元变换器权重,在推理、数学和编码任务等各种基准测试中保持了 98.2% 的 FP16 智能,并支持 262K 令牌上下文窗口的设备端运行。
-
LLM KV 缓存而非权重,是长上下文 VRAM 需求的主要驱动因素
运行大型语言模型 (LLM) 的内存需求不仅仅是模型权重,KV 缓存是一个重要因素,尤其是在长上下文窗口的情况下。例如,像 Llama 3.1 8B 这样的 7B 参数模型,在 128K 上下文长度下,其 KV 缓存每 token 大约需要 128 KiB,这会急剧增加 VRAM 的需求。架构差异,例如 KV 头的数量,也会影响缓存大小,Qwen2.5 7B 在相同上下文下比 Llama 3.1 8B 需要更少的缓存。即使采用 FP8…
-
llama.cpp b11544 版本发布,优化浮点转换,更新类型
llama.cpp 项目发布了 b11544 版本,该版本在 ggml-cpu 架构上对单精度浮点数到半精度浮点数的转换进行了优化。此次更新还包括将 s390x 架构的 unsigned long 类型重命名为 uint64_t 大小的类型,并移除了一个注释。这些更改由 taronaeo 标记,并包含来自 IBM 的 Aaron Teo 的 signed-off-by 行。
-
通过提示工程和后处理,Whisper 听写准确性得到提升
作者详细介绍了他们如何提高 Whisper 语音转文本模型在个人听写中的准确性。他们发现许多看似的错误并非听错,而是填充词、口头更正或数字格式化的问题,这些可以通过简单的后处理步骤来解决。此外,使用句子形式的初始提示,而不是术语列表,显著提高了对 Kubernetes 和 PostgreSQL 等特定技术术语的识别能力。
-
讨论了AI在从起草电子邮件到模型微调等任务中的便利性
强调了AI的便利性,举例包括起草电子邮件、调试代码和制定营销策略。讨论还涉及微调一个7B模型所需的内存,并指出其在半精度浮点格式下的尺寸。
-
新的大语言模型服务系统通过双精度优化KV缓存内存
研究人员开发了DPS,一个双精度大语言模型服务系统,它动态调整模型精度以优化KV缓存内存。通过在KV缓存需求高的时期切换到模型的低精度变体,DPS可以将未使用的权重内存重新用于KV缓存块。这种基于半统一内存(SUM)的方法,在保持FP16级别精度的同时,将持续吞吐量提高了3.3倍,有效pass@1提高了41个百分点。
-
新的校验和方法增强了边缘设备上CNN的故障检测能力
研究人员开发了一种名为Carry-Through Checksum的新型轻量级故障检测技术,用于边缘应用中的卷积神经网络(CNN)。该方法将校验和嵌入到卷积层中,在整个推理过程中计算和传播校验和,从而以最小的开销实现端到端的错误检测。实验表明,该技术在FP32中可检测到超过95%的关键故障,在FP16中可检测到超过86%的关键故障,而用于缓解的重新执行仅增加了嵌入式GPU上很小的运行时开销。
-
Qwen3-8B模型已扩展用于超低比特语言处理
研究人员已成功将训练后三元化技术扩展到Qwen3-8B语言模型,旨在降低存储和内存需求。该研究进行了全面的评估,包括复现门、能力分析和直接打包执行。在三个语料库上,该8B模型达到了1.361倍的困惑度比,并在零样本任务上保持了64.6%的准确率,证明了其对激进离散化的鲁棒性。