Oxmiq Labs 正在提出高带宽闪存 (HBF) 作为 AI 推理的新容量层,旨在以与高带宽内存 (HBM) 相当的成本提供显著更多的存储空间。他们在 Hot Chips 2026 上的演示概述了 HBF 硬件规格,该规格在相同价格下可提供 HBM 8 到 16 倍的容量。虽然 HBM 在带宽密集型任务中表现出色,但 Oxmiq 建议 HBF 可有效地部署在混合专家 (MoE) 模型中,特别是用于存储专家权重和卸载 KV 缓存,从而优化 AI 推理工作负载的成本和容量。 AI
影响 可能为存储大型 AI 模型及其相关数据提供更具成本效益的解决方案,从而可能降低推理成本。
排序理由 该项目讨论了在技术会议上提出的 AI 计算的硬件规格和部署策略。 [lever_c_demoted from research: ic=1 ai=0.7]
在 Mastodon — mastodon.social 阅读 →
- AI inference
- Helen Bamber Foundation
- High Bandwidth Flash
- High Bandwidth Memory
- Hot Chips 2026
- Kimi-K2 1T
- mixture of experts model
- Oxmiq Labs
- UCIe
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →