Meta 通过重新利用旧服务器的内存,显著降低了其 AI 推理工作负载的硬件成本。该公司开发了一种定制的 CXL ASIC,允许它重用这些内存,从而使某些任务所需的机器数量减少了 25%。 AI
影响 这种硬件效率的提高可能会降低大规模部署 AI 推理的成本。
排序理由 这是 AI 公司的一项硬件优化和成本节约措施,而不是核心 AI 发布或研究。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
Meta 通过重新利用旧服务器的内存,显著降低了其 AI 推理工作负载的硬件成本。该公司开发了一种定制的 CXL ASIC,允许它重用这些内存,从而使某些任务所需的机器数量减少了 25%。 AI
影响 这种硬件效率的提高可能会降低大规模部署 AI 推理的成本。
排序理由 这是 AI 公司的一项硬件优化和成本节约措施,而不是核心 AI 发布或研究。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
In production on millions of boxes and the payoff is a 25% reduction in machines needed for some inference workloads