English(EN) Llama 3.1 Leaks: big bumps to 8B, minor bumps to 70b, and SOTA OSS 405b model

Meta 的 Llama 3.1 泄露显示 8B 和 70B 模型有显著升级，并新增了一个 405B SOTA OSS 模型。

作者 PulseAugur 编辑部 · [1 个来源] · 2024-07-23 01:12

Meta AI 即将推出的 Llama 3.1 模型据称将带来显著的性能提升，尤其是在 8B 参数版本上。70B 参数模型预计也将有所增强，但程度较小。此外，一款新的 405B 参数开源模型有望达到最先进的性能。 AI

排序理由一家主要 AI 实验室即将推出的前沿开源模型的泄露。

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

Smol AINews TIER_1 English(EN) · 2024-07-23 01:12

Llama 3.1 Leaks: big bumps to 8B, minor bumps to 70b, and SOTA OSS 405b model

**Llama 3.1** leaks reveal a **405B dense model** with **128k context length**, trained on **39.3M GPU hours** using H100-80GB GPUs, and fine-tuned with **over 25M synthetic examples**. The model shows significant benchmark improvements, especially for the 8B and 70B variants, wi…