PulseAugur
中
实时 19:46:05
实体 MXFP4

MXFP4

PulseAugur coverage of MXFP4 — every cluster mentioning MXFP4 across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
16
90 天内 42
发布 · 30天
0
90 天内 0
论文 · 30天
7
90 天内 18
层级分布 · 90 天
主题
关系
情绪 · 30 天

12 天有情绪数据

最近 · 第 1/3 页 · 共 47 条
  1. TOOL · CL_368350 ·

    Chameleon 框架通过动态量化优化扩散模型

    研究人员开发了 Chameleon,一个新颖的训练后量化(PTQ)框架,旨在优化内存受限硬件上的扩散模型。与固定数字格式的先前方法不同,Chameleon 为每个权重通道和激活层动态选择最佳格式,并可选择按时间步长桶进行选择。这种动态方法能够更好地编码扩散过程中变化的激活分布。在 SDXL、SDXL-Turbo 和 PixArt-α 等模型上的实验表明,与现有的量化方法相比,Chameleon 在保持接近 FP16 参考的保真度的同时…

  2. TOOL · CL_357741 ·

    SoScale方法提高了LLM的FP4量化精度

    研究人员开发了SoScale,一种用于大型语言模型FP4量化中的二阶尺度搜索的新颖方法。该技术旨在提高FP4量化的准确性,这对于减小内存占用和推理成本至关重要。SoScale根据尺度代码对层输出的影响进行优化,而不仅仅是局部重构误差,并与GPTQ风格的误差恢复相结合。在Qwen3模型上的实验表明,SoScale在MXFP4、NVFP4和HiF4等各种FP4格式下始终能减少量化损失。

  3. TOOL · CL_348594 ·

    新的BitDecoding-FP4方法通过FP4 KV缓存提升LLM服务吞吐量

    研究人员开发了BitDecoding-FP4,这是一种新颖的算法-系统协同设计,用于大型语言模型中高效准确的原生FP4 KV缓存解码。该方法通过引入双残差查询量化和欠流感知概率缩放等技术,解决了现有FP4 KV系统相关的准确性下降和吞吐量下降问题。该系统还通过消除softmax瓶颈并融合分页KV缓存上的操作来优化解码吞吐量。在NVIDIA B300上使用Qwen3模型的基准测试表明,BitDecoding-FP4在提供2.4-3.0倍…

  4. TOOL · CL_347386 ·

    开放 MoE 模型在路由细节上存在分歧:DeepSeek、Qwen、Llama 4 对比

    对开放式混合专家模型 (MoE) 的比较显示,尽管核心理念相同,但它们的路由机制却存在显著差异。模型的专家数量从 8 到 384 不等,每个 token 选择的专家数量从 1 到 8 不等。一些模型包含一个持续激活的共享专家,而另一些模型则完全省略了此功能。路由策略的选择会影响内存需求和计算效率,其中一些模型(如 DeepSeek-V4-Pro)需要多 GPU 设置,而另一些模型(如 gpt-oss-120b)则可以在单个 GPU 上运行。

  5. TOOL · CL_353084 ·

    MACaQ 量化方法加速 AI 模型推理

    研究人员推出了一种新颖的训练后量化方法 MACaQ,旨在实现高效的低精度神经网络推理。该方法独立量化每个线性层,并结合在线激活变换和 Hessian 感知精炼,以在不牺牲准确性的情况下降低计算成本。与 Qwen3-32B 和 Llama-3-8B 等模型上的现有方法相比,MACaQ 展现出更快的量化时间和相当或更优的性能,并已由华为-CSL 开源。

  6. TOOL · CL_363309 ·

    BitDecoding-FP4 通过FP4量化增强LLM长上下文解码能力

    研究人员开发了BitDecoding-FP4,一种通过协同设计FP4量化和系统优化来高效进行大型语言模型长上下文KV解码的新方法。该方法通过引入双残差查询量化和欠流感知概率缩放等技术,解决了现有FP4 KV系统相关的准确率下降和吞吐量下降问题。该系统还优化了softmax瓶颈,并与vLLM等框架集成,与传统的BF16 KV解码相比,实现了显著更高的服务吞吐量。

  7. TOOL · CL_341765 ·

    Kimi K3.1 Pro模型精度细节被揭露不准确

    对Kimi K3.1 Pro模型的技术分析显示,其报告的比特精度存在差异。虽然模型页面显示为8位精度,下载徽章也暗示相同,但基于检查点文件大小和参数数量的详细计算表明,平均每参数为4.49位。这表明并非所有模型内的权重都量化为4位,由于质量考虑或尺寸效率低下,某些层保持了更高的精度。

  8. SIGNIFICANT · CL_339158 ·

    Hydrogen-1.0科学模型以更低成本挑战GPT-6 Astra

    Deep Principle发布了Hydrogen-1.0,这是一个基于GLM-5.3的开源科学模型,专为化学、材料科学和生命科学设计。在评估中,Hydrogen-1.0在FrontierScience Research (FSR)上的表现据称比GPT-6 Astra高出5个百分点,并且实现了显著更低的估计输出成本。虽然它在GPQA Diamond上也表现强劲,但在该基准测试上略微落后于Kimi K3。该模型使用了监督微调和基于领域特…

  9. TOOL · CL_338456 ·

    新的校准方法提高了LLM的HiFloat4量化精度

    研究人员开发了三种新的校准方法——HiGPTQ、HiAutoRound和HiFlatQuant——以提高使用HiFloat4(HiF4)格式量化的大语言模型的精度。这些方法解决了现有校准技术主要为整数精度格式设计且不能有效支持HiF4的层级块浮点结构的问题。所提出的方法在HiF4和BF16之间的精度差距方面表现出降低,并且在各种模型和任务上优于当前的先进的NVFP4格式。

  10. TOOL · CL_335980 ·

    LLM VRAM需求:真实数据揭示8K上下文下的KV缓存影响

    一项新的分析详细介绍了运行26个流行的开源LLM在4位精度和8K上下文窗口下的实际VRAM需求。研究发现,虽然权重通常占内存使用的大部分,但KV缓存的大小对于具有长上下文的模型来说可能变得很重要,特别是那些架构不限制缓存增长的模型。这些数据来自GGUF文件大小和模型配置,可供社区公开使用。

  11. TOOL · CL_330301 ·

    llama.cpp b11985 优化 Apple 设备上的 Metal 性能

    llama.cpp 项目发布了 b11985 版本,为 macOS 和 iOS 上的 Metal 带来了性能增强。此次更新通过优化 fp4 值解码和移除 threadgroup 内存使用,实现了更快的 MXFP4 矩阵向量乘法。此外,连续的一元和二元运算现在利用完整的 threadgroups,并且 GLU 行被分割到不同的 threadgroups 以提高效率。

  12. TOOL · CL_329281 ·

    llama.cpp b11979 发布通过优化量化提升 Arc Pro B70 性能

    llama.cpp 的最新版本 b11979 引入了针对各种量化格式的显著性能优化,尤其是在 Arc Pro B70 GPU 上。这些更新侧重于对 Q4_0、Q4_K、Q5_K、Q6_K、Q3_K 和 IQ3 等格式的量化反量化存储进行向量化处理,从而在预填充场景中实现了显著的速度提升。例如,Q6_K 模型性能提升了近 29%,而其他格式也获得了可观的提升,尽管新布局的预填充和解码速度基本保持不变。

  13. TOOL · CL_328560 ·

    llama.cpp 使用 SVE 256 位 MXFP4 实现优化 GEMV 内核

    llama.cpp 项目发布了 b11967 版本,该版本采用 MXFP4 和 SVE 256 位指令集优化了通用矩阵向量乘法 (GEMV) 内核的实现。此次与富士通合作开发的更新旨在显著提高性能。

  14. TOOL · CL_321705 ·

    新的 ALTO 方案支持 MoE LLM 的高效 MXFP4 训练

    研究人员为 GPT-OSS-20B 混合专家模型开发了一种名为 ALTO 的新训练方案,使其能够使用 MXFP4 小于 8 位的算术格式进行有效训练。该方法结合了现有技术和简化的去振荡方案,与标准的 BF16 训练相比,显著降低了收敛开销。ALTO 方案成功缩小了大部分量化误差差距,实现了非常接近 BF16 基线的验证损失,并大大缩短了达到质量目标所需的收敛时间。

  15. TOOL · CL_304822 ·

    llama.cpp 项目发布预更新,包含操作系统和模型优化

    llama.cpp 项目发布了多个预发布更新,包括 b11732,修复了 CUDA 警告并增加了对 macOS、iOS、Linux、Android、Windows 和 OpenEuler 等多种操作系统的支持。b11731 版本为 ggml-cpu 引入了向量化的 ggml_v_silu 和 ggml_v_expf 函数,由 IBM 贡献。b11729 版本为 Qwen3 增加了双向注意力和 dense_2 输出投影,由 Grok 协…

  16. TOOL · CL_297594 ·

    Modal 通过混合精度、混合加速器的采样器实现更便宜的强化学习训练

    Modal 开发了一种新颖的大型语言模型强化学习(RL)方法,该方法利用混合精度和混合加速器的采样器。这种方法通过允许采样器独立于训练器运行,使用较低的精度和不同的硬件(如 FP8 或 NVFP4),来解决 RL 中采样成本高昂的问题。该系统采用离策略校正和自动扩展的无服务器 GPU 来维持训练的稳定性和性能,即使在异步更新和不同的采样器配置下也是如此。这使得更具成本效益的 RL 训练成为可能,通过在编码任务上使用高达 256K 上下…

  17. TOOL · CL_274348 ·

    Unsloth 发布 Beta 版,支持命令面板和更快的 Laya 决策

    Unsloth 发布了 0.1.902-beta 版本,引入了可通过 Cmd/Ctrl+P 访问的命令面板,并增强了桌面 UI/UX,以实现更快的导航和更清晰的错误消息。此更新将 Laya 决策模型的速度提高了 4.1 倍,并通过保持 INT4 和 MXFP4 检查点打包来提高 LoRA 训练期间的内存效率。此外,该版本还扩展了对托管决策 API 提供商的支持,并为图像和视频模型处理引入了新功能。

  18. SIGNIFICANT · CL_268580 ·

    Imagination E系列GPU集成AI,加速渲染和LLM推理

    Imagination Technologies发布了其新的E系列GPU架构,旨在将AI能力直接集成到图形处理中。新架构配备了“Neural Core”,可在2.3毫秒内完成540p到1080p分辨率的AI倍增,并支持MXFP8和MXFP4等低精度格式,将大型语言模型的Prefill性能提升4.7倍。E系列旨在通过在统一的可编程平台上处理图形和AI任务来减少数据移动并提高能效,尽管在复杂的SoC中仍需要与其他处理单元协作。

  19. RESEARCH · CL_268155 ·

    新研究探索LLM的高级量化技术 · 已追踪10个来源

    多篇研究论文介绍了量化大型语言模型(LLMs)的新技术,以减少其计算和内存占用。这些方法旨在提高效率,同时不显著牺牲性能。方法包括激活量化的优化旋转、面向量化感知训练的最小范数优化,以及用于部署对齐的量化感知蒸馏框架。其他研究侧重于超低复杂度反量化、重新思考优化损失尺度以及量化的联合交替细化,所有这些都有助于使LLMs更易于访问和更高效。

  20. SIGNIFICANT · CL_256151 ·

    小米发布万亿参数MiMo大模型家族,权重开放

    小米发布了其MiMo大语言模型家族,最新版本MiMo-V2.5-Pro拥有万亿参数。这些模型以其MIT许可下的开放权重状态和原生的全模态能力而闻名,能够处理文本、图像、视频和音频。MiMo-V2.5-Pro采用了稀疏专家混合架构,在总计1.02万亿参数中,每个token有420亿活跃参数,并支持高达100万token的上下文窗口。