SK Hynix、SanDisk 发布用于 AI 推理内存墙的高带宽闪存

SK Hynix 和 SanDisk 合作开发了高带宽闪存 (HBF)，这是一种旨在解决 AI 推理中内存墙挑战的新内存层。HBF 将大容量 NAND 闪存置于靠近各种 xPU（包括 GPU）的位置，以缓解数据移动造成的瓶颈。该规范在 Google 和 Tenstorrent 的参与下制定，定位在 HBM 和 SSD 之间，通过 Base Die 和主机软件管理模型权重、KV 缓存和代理工作负载等大型数据集。虽然 HBF 通过多通道并行访问提供高聚合读取带宽，但它保留了 NAND 在写入耐久性和管理方面的固有局限性，将复杂性转移到软件堆栈。 AI

影响 HBF 旨在通过提供更靠近处理器的内存层来提高 AI 推理性能，从而可能支持更大的模型和更快的处理速度。

排序理由 该条目详细介绍了行业参与者开发的一种新内存技术（HBF）的规范，并将其定位在人工智能硬件生态系统中。[lever_c_demoted from research: ic=1 ai=1.0]

在 雷峰网 (Leiphone) 阅读 →

• DRAM
• GPU
• KV Cache
• LLM
• NAND
• SRAM
• Tenstorrent
• UCIe

• 基础设施
• 产品

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →