PulseAugur
实时 19:21:31
English(EN) Many research labs only consider inference efficiency after the fact. Step 3.7 Flash is a 196B MoE model, and built for inference from the start by @StepFun_ai.

Fireworks AI 发布针对推理优化的 196B MoE 模型

Fireworks AI 发布了 Step 3.7 Flash,这是一个拥有 196-1980 亿参数的专家混合 (MoE) 模型。该模型从一开始就专门为推理效率而设计。该公司强调,许多研究实验室在模型初步开发完成后才开始考虑推理优化。 AI

影响 该模型的发布可能提供更高效的推理选项,从而可能降低 AI 部署的成本。

排序理由 该集群描述了一个新模型的发布,但它并非来自一线前沿实验室,也没有声称在主要基准测试中达到最先进的性能。

在 X — Fireworks (inference infra) 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

Fireworks AI 发布针对推理优化的 196B MoE 模型

报道来源 [2]

  1. X — Fireworks (inference infra) TIER_1 English(EN) · FireworksAI_HQ ·

    许多研究实验室直到事后才考虑推理效率。Step 3.7 Flash 是由 @StepFun_ai 设计的一个 198B 稀疏 MoE VLM,用于从一开始就进行推理

    Many research labs only consider inference efficiency after the fact. Step 3.7 Flash is a 198B sparse MoE VLM designed by @StepFun_ai for inference from the start. 196B language backbone with a 1.8B vision encoder. Built for real-world agent workloads, running at up to 400 https…

  2. X — Fireworks (inference infra) TIER_1 English(EN) · FireworksAI_HQ ·

    许多研究实验室直到事后才考虑推理效率。Step 3.7 Flash 是一个 196B MoE 模型,由 @StepFun_ai 从一开始就为推理而构建。

    Many research labs only consider inference efficiency after the fact. Step 3.7 Flash is a 196B MoE model, and built for inference from the start by @StepFun_ai. Multi-Matrix Factorization Attention (MFA) → KV-cache at ~22% of DeepSeek. Attention-FFN Disaggregation (AFD) →