NVFP4
PulseAugur coverage of NVFP4 — every cluster mentioning NVFP4 across labs, papers, and developer communities, ranked by signal.
16 天有情绪数据
-
GIFT方法通过几何感知梯度加速LLM预训练 · 跟踪2个来源
研究人员开发了GIFT，一种通过改进梯度通信来优化大型语言模型（LLM）预训练的新方法。GIFT在量化之前将梯度转换为几何感知坐标系，与传统的欧几里得空间方法相比，失真更小。这种方法可以更忠实地表示低精度梯度，从而缩短预训练时间并提高下游任务性能。该方法在Llama-300M和Llama-600M模型上进行了测试，在NVIDIA GH200 Superchips上显示预训练时间减少了7.6%。
-
NVIDIA 发布基于 DeepSeek-V3 架构的 Kimi-K2.7-Code
NVIDIA 发布了 Kimi-K2.7-Code，这是一个基于 DeepSeek-V3 架构的开源模型。该模型拥有 320 亿活跃参数和 256,000 个 token 的上下文窗口。它在 vLLM 框架内使用了推测解码，并已针对 NVFP4 硬件进行了量化部署，支持文本、图像和视频模态。性能评估包括 SWE-bench Verified 和 Terminal-Bench 2.1，但训练数据中包含有毒内容。
-
GLM-5.2 在 8x B200 GPU 上的部署倾向于使用 NVFP4 以获得最佳吞吐量
一项技术分析显示，在 8x NVIDIA B200 GPU 上部署 GLM-5.2 模型，使用四个 GPU 上的 NVFP4 精度比使用所有八个 GPU 上的 FP8 精度更有效。该配置的 FP8 设置模型权重约占 459 GB，并为 KV 缓存留有充足空间，吞吐量几乎是 FP8 设置的两倍。分析表明，对于中等并发，模型的性能受内存带宽限制，因此 NVFP4 是最大化每秒每美元代币的更有效选择。
-
Unsloth Studio 发布 v0.1.48-beta 版本，增强模型导出和 API 服务
Unsloth Studio 发布了 v0.1.48-beta 版本，为模型导出和 API 服务带来了显著增强。此次更新支持将模型导出为多种格式，包括 NVFP4、FP8 和 imatrix GGUFs，并引入了更强大的 OpenAI 兼容 API 服务，具备自动模型切换和工具调用修复等功能。此外，该版本还改进了 RAG 和文件聊天功能，提供更好的文档解析和可定制的嵌入模型，同时对 Unsloth 平台进行了整体优化和可靠性提升。
-
Qwen3.6-27B 量化模型在代理工作流中显示出可靠性问题
用户在使用 Qwen3.6-27B 模型的量化版本（NVFP4/FP8）配合 vLLM 时遇到了显著的可靠性问题，特别是在需要推理和工具使用的代理工作流中。虽然该模型的 BF16 版本运行完美，但量化版本出现了任务中断和循环失败等症状，调整重复惩罚（repetition penalty）也未能解决。用户正在调查这些问题是源于其硬件和软件堆栈的配置问题，还是当前量化技术在复杂 AI 代理任务中的固有局限性。
-
新的LLM量化方法提升速度和准确性
两篇新的研究论文介绍了改进大型语言模型（LLM）效率的新型量化技术。FPTQuant专注于INT4量化的保持函数变换，实现了高达3.9倍的速度提升，且开销极小，准确性与较慢的方法相当。ARCQuant通过增强残差通道提升NVFP4量化，在保持最先进准确性的同时，使GPU上的速度比FP16提升高达3倍。
-
llama.cpp 通过 UE4M3 LUT 为 ARM 添加 NVFP4 点积优化
llama.cpp 项目的一个拉取请求通过将 UE4M3 查找表 (LUT) 扩展到 NVFP4 点积实现，为 ARM 处理器引入了一项优化。此更改使 ARM 版本与现有的 x86 优化保持一致，并利用了共享的 LUT 基础设施。基准测试显示性能显著提升，在一个使用 4 个线程的 Qwen3.5-4B-NVFP4 模型上的测试用例中，速度从每秒 1.89 个 token 提高到每秒 9.97 个 token。
-
ComfyUI 迎来 Starnodes 模型转换器，实现更快的模型转换
ComfyUI 发布了一个名为 Starnodes Model Converter 的新模型转换节点。该工具旨在快速转换各种模型格式，包括 FP32, FP16, FP8, Int8 和 AIO Checkpoints。它提供 FP32, FP16, FP8, Int8, CONVROT 和 NVFP4 格式的输出，并内置了许多模型的质量配置文件。该转换器可在 GitHub 上获取。
-
Qwen 3.6 27B VLLM 基准测试显示 NVFP4 在令牌生成方面表现最佳，FP8 在预填充方面表现最佳
Reddit 的 r/LocalLLaMA 版块的一位用户分享了 Qwen 3.6 27B 模型使用 VLLM 的基准测试结果。测试比较了不同量化格式的性能：BF16、FP8 和 NVFP4。NVFP4 由于内存带宽需求降低，展示了最快的令牌生成速度，比 BF16 快约 2.6 倍。FP8 在提示处理和预填充速度方面表现优异，比 BF16 快约 20%，因为它利用 Tensor Core 加速来处理计算密集型任务。
-
新研究探讨 LLM 效率，从移动推理到训练稳定性
研究人员正在探索各种方法来提高大型语言模型 (LLM) 的效率和性能。一种名为“Thinking Seeds”的方法使用历史检查点来提高 LLM 中强化学习的稳定性和探索性。另一个重点是优化移动设备上的 LLM 推理，研究人员分析了神经处理单元 (NPU)、中央处理单元 (CPU) 和图形处理单元 (GPU) 中的瓶颈，以降低能耗。此外，还在开发“Full-Stack FP4”等技术，以使用 4 位精度实现稳定的 LLM 预训练，而“…
-
NVIDIA 量化 Mistral Medium 3.5 以减少 GPU 内存占用
NVIDIA 已使用其 Model Optimizer v0.44.0 和 NVFP4 量化方法量化了 Mistral Medium 3.5 (128B) 模型。此过程显著降低了 GPU 内存需求，同时精度损失可忽略不计，MMLU Pro 基准测试的微小下降（82.31% 对比 82.20%）证明了这一点。量化后的模型可通过 vLLM 在 NVIDIA B200 GPU 上进行部署。
-
NVIDIA 在 Hugging Face 上发布新的 Nemotron 和 Qwen AI 模型
NVIDIA 发布了包括 Nemotron-3 Nano 30B A3B 和 Qwen 模型量化版本在内的多个新 AI 模型和检查点。这些主要在 Hugging Face 上发布的版本采用 Apache 2.0 许可，并支持文本、图像和视频等多种输入类型。一些用户已计划在代理工作流中测试和比较这些新的 NVIDIA 模型与现有的 Qwen 版本。
-
vLLM 发布 GLM-5.2 以支持 NVIDIA Blackwell；推出 Mixture of Agents 2.0
vLLM 项目宣布 GLM-5.2 已在 NVFP4 格式中可用，并针对 NVIDIA 的 Blackwell 架构进行了优化。此版本支持 GLM-5.2 模型的有效部署。另外，Teknium 在 Hermes Agent 框架内推出了 Mixture of Agents 2.0，允许用户组合来自不同提供商的模型。
-
NVIDIA 发布量化版 GLM-5.2 和 MiniMax-M3 模型
NVIDIA 发布了两款新的量化文本生成模型：GLM-5.2-NVFP4 和 MiniMax-M3-NVFP4。GLM-5.2-NVFP4 模型基于 ZAI 的 GLM-5.2，采用 MIT 许可，可用于全球商业和非商业用途。MiniMax-M3-NVFP4 模型支持文本、图像和视频输入，拥有 100 万 token 的上下文窗口，通过 Model Optimizer 使用 NVFP4，但仅限于非商业用途。
-
ComfyUI Krea 2 NVFP4 量化显示性能比 fp8_scaled 慢
Reddit r/StableDiffusion 子版块的一位用户报告称，在使用 ComfyUI 时，Krea 2 模型的 NVFP4 量化版本比 fp8_scaled 版本明显慢。该用户在 5060 Ti GPU 上观察到这种性能下降，并正在寻求其他用户的验证，因为他们期望 NVFP4 能够像在 klein9b 模型上那样提供速度提升。
-
Krea 2 图像模型发布多个量化版本，拓宽GPU可访问性
Krea 2 图像生成模型已发布量化版本，包括 FP8、MXFP8、NVFP4 和 INT8 格式，使其能够被更广泛的GPU访问。该模型有两种变体：用于训练和微调的 Krea 2 Raw，以及用于更快推理的 Krea 2 Turbo。这些量化文件可在 HuggingFace 上免费获取，并为不同级别的GPU提供了具体建议。
-
RTX 5090 用户寻求 LTX 2.3 模型配置的澄清
一位 Reddit 用户正在寻求关于在其配备 64GB RAM 的 RTX 5090 GPU 上运行 LTX 2.3 模型的最佳配置的澄清。他们对于较大的 bfloat16 (BF16) 版本（46GB）如何在通常处理高达 24GB 模型的情况下能够运行感到困惑。该用户质疑在线声称 BF16 是其硬件的最佳选择，并正在寻找关于 ComfyUI 环境中 VRAM 在上下文、提示和 LoRA 使用情况的解释。
-
用户寻求Pinokio中Wan2GP视频生成问题的帮助
一位Reddit用户正在寻求帮助，以解决在使用Pinokio应用程序中的Wan2GP模型生成连续视频片段时遇到的问题。尽管GPU显存利用率低，用户仍遇到内存饱和问题，并遇到了与NVFP4内核相关的错误。他们还注意到生成短视频片段的速度很慢。
-
NVIDIA Blackwell 平台主导 MLPerf 训练 6.0 基准测试
NVIDIA 的 Blackwell 平台在 MLPerf 训练 6.0 基准测试中创下新纪录，在所有七项测试中均取得最快成绩。该平台展示了强劲的扩展性，拥有多达 8,192 个 GPU 的集群在训练大型语言模型时显示出显著的加速效果。这一性能凸显了高带宽互连（如 NVLink）和低精度计算对于高效大规模 AI 训练的重要性。
-
NVFP4 量化有望提升 32GB VRAM 系统的 LLM 性能
一种名为 NVFP4 的新量化技术正在开发中，旨在提高大型语言模型在消费级硬件上的性能。该方法专门针对 KV 缓存量化，目标是使拥有 32GB VRAM 的系统能够更有效地运行模型。目标是实现更高的生成速度，正如一位用户使用相关技术在 32GB VRAM 设置上使用 Qwen3.6-27B 模型实现了大约 60 tokens/sec 的速度所展示的那样。