在 Hot Chips 2026 上发布的一种新内存格式——高带宽闪存(HBF),以可比的成本提供了比传统高带宽内存(HBM)大得多的容量。然而,HBF 较低的带宽使其不适用于许多对速度至关重要的 AI 工作负载。OXMIQ Labs 展示了,虽然 HBF 可以显著减少存储 Kimi-K2 等大型模型所需的 GPU 数量,但在带宽是限制因素的情况下,HBM 在最大化推理吞吐量和提供更低的每 token 成本方面仍然更胜一筹。普遍的看法是,HBF 可能作为大型、不常访问数据集的专用内存层,而不是 HBM 的直接替代品。 AI
影响 高带宽闪存为容纳极其大型的 AI 模型提供了一个潜在的解决方案,但其性能限制可能会限制其在高吞吐量推理任务中的应用。
排序理由 在研究会议上展示的新内存技术。[lever_c_demoted from research: ic=1 ai=0.7]
- HBM4E
- High Bandwidth Flash
- High Bandwidth Memory
- Hot Chips 2026
- Kimi-K2
- NAND flash
- OXMIQ Labs
- SanDisk
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →