PulseAugur
中
实时 14:40:25
实体 Fp8

Fp8

PulseAugur coverage of Fp8 — every cluster mentioning Fp8 across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
44
90 天内 122
发布 · 30天
0
90 天内 0
论文 · 30天
10
90 天内 35
层级分布 · 90 天
主题
关系
情绪 · 30 天

15 天有情绪数据

最近 · 第 1/7 页 · 共 131 条
  1. SIGNIFICANT · CL_368886 ·

    腾讯发布 220B Hy4 Flash MoE 模型,支持 1M 上下文窗口

    腾讯发布了 Hy4 Flash,一个拥有 2200 亿参数的多模态混合专家模型,可在 Hugging Face 上获取。该模型拥有 100 万 token 的上下文窗口,并采用稀疏专家架构,每个 token 有 120 亿活跃参数。其许可包含一项收入触发条款,对于年收入超过 5000 万美元的 API 产品,需要单独签订协议。

  2. TOOL · CL_366237 ·

    数值精度影响 AI 公平性审计的可复现性

    一篇新发表在 arXiv 上的研究探讨了数值执行契约对 AI 模型公平性审计可复现性的影响。研究人员发现,算术精度的变化,例如使用 bfloat16 或 FP8 而非标准的单精度浮点数,会改变模型决策和审计结果,尤其是在 NVIDIA、AMD 和 Apple 的 GPU 上。虽然严格的 FP32 参考配置通过了某些审计,但像 FP8 这样的低精度配置有时会失败,这表明数值契约的选择显著影响公平性评估,并且 FP8 本身并不更公平。

  3. TOOL · CL_364113 ·

    新的 CPTC 量化格式实现近乎最优的张量压缩

    研究人员开发了一种名为计算排列网格编码 (CPTC) 的新型低比特量化格式,可实现近乎最优的张量压缩。CPTC 通过联合编码值来实现这一点,使其比独立量化每个值的方法更接近信息论的理想值。CPTC 解码器效率很高,使用小型查找表和简单的计算,并已集成到 AWS Trainium 4 AI 加速器中。

  4. RESEARCH · CL_365878 ·

    LLM 代理实现大型语言模型量化自动化和优化

    研究人员开发了 QDA,一个利用 LLM 代理自动优化大型语言模型训练后量化过程的新系统。这种闭环设计通过迭代构建和评估候选模型来优化量化方案,与手动方法相比,显著减少了所需时间和专业知识。QDA 在现有技术上实现了更高的准确性,特别是为 GLM-5.3-Flash 模型恢复了 98.3% 的 FP8 模型准确性,并将发布其库、评估器和工具。

  5. COMMENTARY · CL_360699 ·

    LLM 的 GPU 显存需求:模型表、KV 缓存和开销计算

    了解运行大型语言模型所需的 GPU 显存,需要计算模型表和 KV 缓存所需的空间。用户适用的公式为(GPU 显存 - 模型表 - 其他开销)/(每 token 的笔记本 * 每个聊天的 token 数)。例如,在拥有 80 GB NVIDIA H100 的情况下,Llama 3.1 8B 模型在 8192 token 的聊天中,大约可以同时支持 54 个用户。模型表的大小取决于参数数量和使用的数值格式(例如 BF16、FP8、INT4…

  6. TOOL · CL_356198 ·

    llama.cpp v1.0.0 发布,承诺提供稳定的 API

    流行的开源推理引擎 llama.cpp 已发布 1.0.0 版本,标志着其 API 稳定性迈出了重要一步。此次发布为其核心库 libllama 和 libggml 引入了语义化版本控制,承诺只有在主版本号更新时才会发生重大更改。这一变化对于在 llama.cpp 之上构建应用程序的开发者至关重要,提供了更可预测的开发体验。更新还包括性能增强,如 FP8 KV 缓存和改进的多模态功能,例如文本转语音功能。

  7. TOOL · CL_354152 ·

    Llama 3.1 8B KV 缓存为 128K 词元需要 16 GiB

    一篇技术博文详细介绍了 Llama 3.1 8B 模型巨大的内存需求,特别是关于其 KV 缓存。作者解释说,仅 KV 缓存就可能消耗约 16 GiB 内存来容纳一个 128K 词元序列,这还不包括模型本身的约 16 GB 权重。此计算基于公式 2 × layers × KV heads × head_dim × bytes per value,突显了为什么 24 GB GPU 可能不足以处理如此长的上下文。博文提出了解决方案,例如减少…

  8. TOOL · CL_352963 ·

    llama.cpp 为 NVIDIA GPU 添加 OCP FP8 支持,提升性能

    llama.cpp 项目已在 CUDA 上引入对 OCP FP8(八位压缩精度浮点数 8 位)的支持,提升了 NVIDIA GPU 的性能。此次更新包括对通用矩阵向量乘法 (GEMV) 的优化,并将 FP8 支持集成到 FlashAttention 和 cuBLAS 中。基准测试显示速度显著提升,尤其是在 NVIDIA RTX Pro 4500 Blackwell GPU 上使用 Qwen3.6-27B-NVFP4 模型时,推理时间得到改善。

  9. TOOL · CL_353721 ·

    llama.cpp 为优化的本地 LLM 推理添加 FP8 KV-cache 支持

    llama.cpp 项目在其 KV-cache 中引入了对 FP8(8 位浮点)精度的支持。此优化旨在减少内存使用量,并可能提高在本地运行的大型语言模型的推理速度。此更改已通过拉取请求实现,现在可供 llama.cpp 库的用户使用。

  10. RESEARCH · CL_350541 ·

    新的蒸馏方法改进了LLM的领域适应性

    研究人员开发了一种名为策略内中期蒸馏(OPMD)的新方法,以改进大型语言模型(LLM)在专业领域的适应性。与平等对待所有训练数据的传统方法不同,OPMD会主动从不断发展的模型中采样轨迹,并使用教师模型的奖励,从而解决了训练-生成不匹配的问题。这种方法在Qwen等模型的数学基准测试中表现出改进,优于标准的下一个词预测方法。OPMD可以集成到现有的训练流程中,而不会增加推理时间。

  11. TOOL · CL_346855 ·

    Ideogram 4:fp8 模型比更快的 int8convrot 版本质量更好

    一位 Reddit 用户对比了 Ideogram 4 模型的两个版本:fp8 和 int8convrot。虽然 int8convrot 版本被发现速度快了 30-40%,但 fp8 版本提供了更优的图像质量。该用户解释说,int8convrot 模型是通过对 fp8 权重进行反量化创建的,这可能导致与原始 fp8 权重相比质量有所下降。

  12. TOOL · CL_345181 ·

    LLM上下文长度受硬件内存限制,而非模型大小

    一项最新分析表明,大型语言模型处理长上下文的能力主要由硬件的内存容量决定,而非模型架构或量化方法。关键因素在于硬件是否能在其高带宽内存(HBM)中存储模型权重的两倍大小以容纳KV缓存。如果权重本身已占用超过50%的HBM,KV缓存将永远无法达到其理论上的交叉点,这意味着硬件容量是瓶颈。在这种情况下,FP8量化等优化主要会增加可处理的序列数量,而不是提高每token的速度。

  13. TOOL · CL_344697 ·

    发布 TensorRT-LLM 生产部署指南,面向 MoE 模型

    ServerMO 发布了一份详细介绍 TensorRT-LLM 生产部署的指南,重点关注服务大型专家混合(MoE)模型的先进技术。该指南涵盖了面向 Hopper 架构的 FP8 和面向 Blackwell 架构的 NVFP4 等量化方法,以及包括张量并行、流水线并行和具有动态路由的专家并行在内的并行策略。它还通过详细介绍 NIXL KV 缓存设置和防止 TCP 静默回退的方法,以及解决 LLVM 主机内存不足错误的方法,来解决分离式服务问题。

  14. RESEARCH · CL_344400 ·

    ZYFA 将 AMD MI355X FP8 FlashAttention 速度提升高达 1.99 倍

    研究人员开发了 ZYFA,这是一套用于 AMD Instinct MI355X GPU 的新型预填充注意力核函数,它利用 FP8 精度来提高速度和精度。ZYFA 采用了新颖的技术,包括简化的概率计算和优化的调度方法,以克服 FP8 矩阵指令加速和矩阵完成硬件跟踪方面的限制。这使得吞吐量相比 AMD 的原生 AITER 核函数有了显著提升,数值误差与 Composable Kernel 和 Triton 等成熟库相当。

  15. TOOL · CL_339766 ·

    Nvidia RTX Spark 笔记本因加密固件导致 Linux 性能问题

    Nvidia 的 RTX Spark 笔记本电脑专为 AI 开发而设计,但在运行 Linux 时,由于加密固件限制了 GPU 时钟速度,导致性能大幅下降。Windows 系统允许 GPU 达到 2 GHz 以上,而 Linux 版本将其锁定在约 780 MHz,导致在 1200 亿参数模型上的推理速度从每秒 65 个 token 急剧下降到约每秒 14 个 token。此问题源于 Nvidia 专有的平台控制器和框架,它们负责管理电源…

  16. COMMENTARY · CL_339393 ·

    Llama 3.1 70B的提示词处理成本是生成token时间的914倍

    一项详细分析显示,在H100 SXM GPU上处理Llama 3.1 70B的4K token提示词,其资源消耗比普遍认为的要高得多,成本约相当于914个生成token。这种高成本源于预填充阶段,该阶段受计算能力限制,并且与上下文长度呈二次方增长,而解码阶段则受内存限制。当处理一个大型提示词时,它会暂停服务节点上所有其他活动对话,导致用户出现明显延迟。虽然分块预填充可以减少最大停顿时间,但并不会降低总计算成本。

  17. TOOL · CL_339138 ·

    寻求 Ideogram 4:FP8 与 INT8 的质量和速度对比

    一位 Reddit 用户由于网络连接缓慢,正在寻求关于下载哪个版本的 Ideogram 4 的建议。他们正在询问 FP8 和 INT8 版本之间的比较,特别是关于输出质量以及 INT8 可能出现的退化或瑕疵。此外,他们想知道在消费级 GPU 上运行 INT8 是否有显著的速度优势。

  18. TOOL · CL_341136 ·

    开源大语言模型的量化提供了速度提升,但缺乏一致的准确性报告

    最近对中型开源大语言模型的分析显示,量化技术虽然有望提升速度,但通常会以准确性为代价,而这种代价在所有模型和基准测试中并未得到一致的报告。研究发现,4位权重量化可以将小批量数据的解码速度大致提高一倍,但随着批量大小的增加以及模型变得计算密集型,这种性能提升会显著下降。对于这些更大的批量,FP8量化显示出持续速度提升的潜力,尽管关于各种量化方法和AMD、Intel Gaudi等硬件的准确性权衡的全面数据仍然稀缺。

  19. FRONTIER RELEASE · CL_338195 ·

    Mistral Large 4 开放权重已发布;自托管需要大量硬件

    Mistral AI 发布了其 Mistral Large 4 模型的开放权重,这是一个拥有 1.05 万亿参数的混合专家架构。该模型昵称为“Le Chonk”,拥有 100 万个 token 的上下文窗口,并支持多模态输入。虽然每个 token 的活跃参数数量约为 520 亿,使得推理成本与较小模型相当,但总参数数量要求自托管需要大量硬件,权重从几百 GB 到超过 1 TB 不等。该模型的许可证是修改版的 MIT 许可证,其中包含作…

  20. TOOL · CL_338068 ·

    NVIDIA H100 对比 A100:LLM 训练的成本效益分析

    在 NVIDIA 的 A100 和 H100 GPU 之间为 LLM 训练进行选择,关键在于基于小时定价和性能提升的成本效益分析。虽然 H100 提供了显著更高的理论计算速度,但其在特定训练任务中的实际优势取决于性能提升是否能证明其更高的小时成本是合理的。内存密集型或计算密集型工作负载、模型大小以及数据加载效率等因素在决定哪个 GPU 能提供更便宜的最终训练任务方面起着至关重要的作用。