Cerebras 推出了分离式推理解决方案,旨在加速 AI 应用的令牌生成。该方法将提示处理(预填充)分离到 GPU(如 AMD Instinct)上,同时利用 Cerebras 的 Wafer Scale Engines 进行响应生成(解码)。该公司声称,与传统的纯 GPU 设置相比,这种方法每兆瓦可提供五倍的令牌,并保持其特有的超快速度。这种分离式模型现已在 Cerebras Inference Cloud 上投入生产,也可供基础设施合作伙伴使用。 AI
影响 这种分离式推理方法可以提高 AI 模型响应的效率和速度,可能降低推理提供商的成本,并支持更具响应性的 AI 应用。
排序理由 文章描述了 Cerebras 的新产品/解决方案,但并非前沿模型发布或具有重大行业影响的事件。
在 Hacker News — AI stories ≥50 points 阅读 →
- AMD Instinct
- Cerebras
- Cerebras Inference Cloud
- .codex
- Copilot
- CS-4
- Goldman Sachs Research
- graphics processing unit
- Muse
- Sram
- Wafer Scale Engines
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →