PulseAugur
中
实时 15:23:21
English(EN) Olala 7A1B says 8 GB, but the BF16 file is 13.59 GB: what a 1B-active hybrid MoE needs to run

OVHcloud 发布 Olala-v1.0-mini-7A1B LLM,拥有 1B 活跃参数

OVHcloud 发布了 Olala-v1.0-mini-7A1B,这是一个拥有约 10 亿活跃参数(每 token)的 68 亿参数混合专家模型。该模型在 Hugging Face 上以 Apache 2.0 许可提供,包含基础、SFT 和后训练等各种检查点。初步报告称需要 8 GB 内存,但仅 BF16 文件就达 13.59 GB,而 Q5_K_M 等量化版本将大小减少到约 5.99 GB。该模型的性能声明暗示需要显著的内存带宽,并且自托管者将需要流行 LLM 加载软件的特定分支,因为当前版本尚不支持其架构。 AI

影响 需要特定的软件分支才能自托管,这表明标准 LLM 工具的用户可能面临兼容性挑战。

排序理由 该条目详细介绍了新 LLM Olala-v1.0-mini-7A1B 的发布,包括其技术规格、内存要求和性能声明,属于研究和模型发布类别。[lever_c_从研究降级:ic=1 ai=1.0]

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

OVHcloud 发布 Olala-v1.0-mini-7A1B LLM,拥有 1B 活跃参数

本文如何被排名

Signal score
30 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
该条目详细介绍了新 LLM Olala-v1.0-mini-7A1B 的发布,包括其技术规格、内存要求和性能声明,属于研究和模型发布类别。[lever_c_从研究降级:ic=1 ai=1.0]
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
model release, infra
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
Breaking (< 6h)
Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

  1. dev.to — LLM tag TIER_1 English(EN) · ai maya ·

    Olala 7A1B称8GB,但BF16文件为13.59GB:1B活跃混合MoE需要运行什么

    <p><strong>TL;DR</strong></p> <ul> <li>OVHcloud's Olala-v1.0-mini-7A1B is a 6.8B-parameter mixture-of-experts model with about 1B active parameters per token, released under Apache 2.0 with base, SFT and post-trained checkpoints on Hugging Face.</li> <li>The launch coverage quote…