English(EN) Cerebras Inference: Faster, Better, AND Cheaper

Cerebras 发布新的晶圆级引擎，以实现更快、更便宜的 AI 推理

作者 PulseAugur 编辑部 · [1 个来源] · 2024-08-29 00:59

Cerebras Systems 宣布了新的硬件和软件优化，旨在提高 AI 推理的效率和成本效益。其最新产品包括增强的晶圆级引擎 (WSE) 处理器和配套软件，旨在加速模型部署。该公司声称这些进步将为 AI 工作负载带来更快的处理时间和更低的运营费用。 AI

排序理由一家专业 AI 硬件公司发布了用于 AI 推理的新硬件和软件优化。

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

Smol AINews TIER_1 English(EN) · 2024-08-29 00:59

Cerebras Inference: Faster, Better, AND Cheaper

**Groq** led early 2024 with superfast LLM inference speeds, achieving ~450 tokens/sec for Mixtral 8x7B and 240 tokens/sec for Llama 2 70B. **Cursor** introduced a specialized code edit model hitting 1000 tokens/sec. Now, **Cerebras** claims the fastest inference with their wafer…