MXFP8
PulseAugur coverage of MXFP8 — every cluster mentioning MXFP8 across labs, papers, and developer communities, ranked by signal.
7 天有情绪数据
-
Inkling 2 Small 模型需要 200GB RAM，给本地部署带来挑战
在本地运行新的 Inkling 2 Small 模型面临严峻的硬件挑战，主要原因是其拥有 5940 亿参数。虽然该模型每个 token 支持 170 亿活跃参数，但必须能够访问整个模型，这估计需要 190-200 GB 的 RAM 和 VRAM。这一需求超出了典型消费级硬件的容量，即使是双 DGX Sparks 等高端解决方案也可能无法满足或需要大量变通方法。此外，本地权重和兼容软件（如特定的 llama.cpp pull reque…
-
Kimi K3.1 Pro模型精度细节被揭露不准确
对Kimi K3.1 Pro模型的技术分析显示，其报告的比特精度存在差异。虽然模型页面显示为8位精度，下载徽章也暗示相同，但基于检查点文件大小和参数数量的详细计算表明，平均每参数为4.49位。这表明并非所有模型内的权重都量化为4位，由于质量考虑或尺寸效率低下，某些层保持了更高的精度。
-
FLAMIA内核加速了在NVIDIA Blackwell GPU上的Transformer训练
研究人员开发了FLAMIA，这是一种新的注意力内核，旨在加速在NVIDIA Blackwell GPU上的Transformer训练。FLAMIA利用混合精度内核，特别是MXFP8和NVFP4，以减少量化开销并防止因果泄露。这种优化使得Llama等大型语言模型的训练速度更快，据报道在Blackwell GPU上的速度提升高达1.42倍。
-
Nemotron Labs发布Dory1.0-4B循环语言模型
Nemotron Labs发布了Dory1.0-4B，一个拥有40亿参数的语言模型，它采用了新颖的循环架构。该设计通过多次应用共享层块，有效地用推理计算换取更好的性能，从而提高了模型的准确性和令牌效率。Dory1.0-4B在各种基准测试中，尤其是在编码和智能体任务上，表现优于更大的模型，并且其检查点现已公开可用。
-
Blackwell 上的 MXFP8 强化学习：速度、一致性和失败模式的探讨
一篇新的研究论文探讨了在 NVIDIA Blackwell 平台上，将 MXFP8 精度用于端到端强化学习（RL）与大型语言模型（LLM）的应用。该研究使用各种框架和模型（包括 Qwen3），在 B200 GPU 上实现并测量了这种方法。研究结果表明，MXFP8 可以提高某些模型的稳定性和缩短步长和生成时间，但它可能会减慢短序列密集型工作负载的速度，并引入必须保留的权重同步特定条件，以避免静默失败。
-
LLM 的 MXFP8 强化学习：收益、痛点与正确性
一篇新论文探讨了在大型语言模型 (LLM) 中使用 MXFP8 精度进行强化学习 (RL) 的方法，旨在降低计算成本。该研究在 B200 GPU 上使用 Qwen 模型实现了端到端的 MXFP8 RL，并评估了其在匹配、速度和正确性方面的性能。结果表明，虽然 MXFP8 可以为某些工作负载（特别是具有混合专家模型 (MoE) 的工作负载）提供加速，但它会带来一致性挑战，并且需要仔细验证以确保正确性，一些失败甚至可能未被标准检查检测到。
-
NVFP4 量化在 Ada GPU 上提供 2.3 倍更快的解码速度，质量媲美 BF16
一篇技术博文比较了大型语言模型在 NVIDIA Ada GPU 上不同量化格式的性能。分析重点关注 NVFP4、FP8 和 GGUF，发现 NVFP4 在解码方面具有显著的速度优势，比 bfloat16 快 2.3 倍，同时在 GSM8K 基准测试中保持了相当的质量。当乘法以 8 位执行时，FP8 表现出色，而在逐个 token 生成中，MXFP8 显示出对 bfloat16 的最高保真度。
-
Llama.cpp 修复 minimax-m3 缩放问题，几何风格迁移新研究，以及 OpenAI 模型安全担忧
llama.cpp 项目最近发布的 b11861 版本修复了 minimax-m3 模型缩放张量未正确转发的问题，该问题导致权重缩放不正确和生成乱码。另外，一篇题为“开放形式几何风格迁移”（Open-Form Geometric Style Transfer）的研究论文介绍了一种方法，通过将结构依从性与风格实现分离开来，将学习到的几何风格应用于全新的形式，例如希腊字母或人体姿势。在安全方面，有报道和讨论表明 OpenAI 模型可能参与…
-
Imagination E系列GPU集成AI，加速渲染和LLM推理
Imagination Technologies发布了其新的E系列GPU架构，旨在将AI能力直接集成到图形处理中。新架构配备了“Neural Core”，可在2.3毫秒内完成540p到1080p分辨率的AI倍增，并支持MXFP8和MXFP4等低精度格式，将大型语言模型的Prefill性能提升4.7倍。E系列旨在通过在统一的可编程平台上处理图形和AI任务来减少数据移动并提高能效，尽管在复杂的SoC中仍需要与其他处理单元协作。
-
llama.cpp 中 MiniMax M3 LLM 性能调整
一位用户正在 Mac 上使用 llama.cpp 框架对 MiniMax M3 大型语言模型进行实验。他们在使用该模型时偶尔会遇到轻微的幻觉和异常，并怀疑这可能与其 MiniMax Sparse Attention (MSA) 实现有关。通过禁用 Flash Attention（这会禁用 MSA），用户观察到生成速度显著下降。进一步的测试涉及将 MSA 与 Flash Attention 分离，这表明尽管可能存在性能权衡，但模型在没有…
-
Kimi K3 的 2.8T 参数凸显了大型语言模型部署作为一项系统工程挑战
Kimi K3 模型拥有 2.8 万亿总参数，每个 token 约有 1040 亿活跃参数，其部署挑战远超其庞大的规模。其架构融合了混合专家（mixture-of-experts）设计和原生多模态支持，上下文窗口超过一百万个 token。至关重要的是，该模型使用低精度 MXFP4 权重和 MXFP8 激活进行训练，这意味着量化是其推理路径的内在组成部分，而非事后考虑。这需要能够高效执行这些原生格式的专用硬件，目前的 vLLM 指导建议…
-
Ollama v0.32.10-rc0 加速模型预填充性能
Ollama 发布了 v0.32.10-rc0 版本，对双精度 NVFP4 模型进行了优化。此次更新将乘法和转换操作合并为单个内核，减少了独立即时操作的开销。在 M5 Max 上的基准测试显示，Qwen3.6-27B 和 muse-glimmer:30b 等模型的预填充操作性能提高了约 6.7% 至 7.9%，而推测解码性能则不受影响。
-
Motif Technologies 发布 314B 参数的 Motif 3 LLM
Motif Technologies 发布了 Motif 3，这是一款拥有 3140 亿总参数和每个 token 激活 132 亿参数的 decoder-only 混合专家（Mixture-of-Experts）语言模型。该模型采用了新颖的 Grouped Differential Latent Attention 架构，并在约 12.5 万亿个 token 上进行了训练。Motif 3 在与领先的开源模型相比时，表现出具有竞争力的性…
-
新的 FP4 训练方法可实现低精度下稳定的 LLM 训练
研究人员开发了一种新颖的方法，使用 4 位浮点精度 (FP4) 来训练大型语言模型 (LLM)，这比标准的 bfloat16 或 FP8 有显著降低。该技术通过引入一种二维块量化方法，解决了之前在 FP4 训练中遇到的不稳定性问题，该方法即使在张量转置后也能确保前向和后向传播之间的一致缩放因子。该方法还结合了无截断缩放和随机舍入，以管理量化误差并保持无偏梯度。当应用于多达 70 亿参数的 LLM 和一个 300 亿参数的专家混合模型时…
-
Moonshot 发布 Kimi K3，一款拥有 2.8T 参数的多模态模型，支持 100 万上下文
Moonshot 发布了 Kimi K3，这是一款新的 2.8 万亿参数多模态模型，拥有 100 万 token 的上下文窗口和原生视觉能力。该模型在发布时展现出惊人的速度，达到每秒 460 token。Kimi K3 基于混合专家架构构建，并通过 Modal 平台提供，提供基于 token 的定价和专用容量选项。
-
Krea 2 Turbo 模型格式在 ComfyUI 中进行速度和质量基准测试
对 ComfyUI 中 Krea 2 Turbo 模型格式的基准测试显示，INT8 ConvRot 格式在速度和质量之间提供了最佳平衡，尤其是在更高分辨率下。虽然 BF16 提供了最高的保真度，但 INT8 ConvRot 是最接近的量化选项，并且速度明显更快。基准测试还强调，文件大小较小并不总是等同于更快的生成速度，一些较小的格式性能比较大的格式差。
-
Krea2 AI 模型性能：INT8 和 NVFP4 显示最快的生成时间
一位 Reddit 用户对 Krea2 AI 模型的各种数值格式进行了比较，评估了它们的性能和图像生成质量。测试包括 BF16、FP8、INT8、GGUF、MXFP8 和 NVFP4，结果表明 INT8_convrot 和 NVFP4 格式提供了最快的生成时间。另一位用户指出，与早期版本的类似模型相比，FP8 和 BF16 格式之间的差异现在似乎不那么明显了。
-
DynamiQ框架通过优化的梯度同步加速LLM训练
研究人员开发了DynamiQ，一个旨在通过优化梯度同步来加速大型语言模型训练的新框架。该方法通过采用新颖的部分和表示技术以及用于高效执行的融合内核，解决了大规模模型训练中的网络瓶颈问题。DynamiQ已展示出显著的改进，与现有最先进的方法相比，速度提升高达34.2%，同时保持接近基线的准确性。
-
新的LLM量化方法提升速度和准确性
两篇新的研究论文介绍了改进大型语言模型（LLM）效率的新型量化技术。FPTQuant专注于INT4量化的保持函数变换，实现了高达3.9倍的速度提升，且开销极小，准确性与较慢的方法相当。ARCQuant通过增强残差通道提升NVFP4量化，在保持最先进准确性的同时，使GPU上的速度比FP16提升高达3倍。
-
Krea 2 图像模型发布多个量化版本，拓宽GPU可访问性
Krea 2 图像生成模型已发布量化版本，包括 FP8、MXFP8、NVFP4 和 INT8 格式，使其能够被更广泛的GPU访问。该模型有两种变体：用于训练和微调的 Krea 2 Raw，以及用于更快推理的 Krea 2 Turbo。这些量化文件可在 HuggingFace 上免费获取，并为不同级别的GPU提供了具体建议。