OVHcloud 发布了 Olala mini 7A1B,这是一个专为高效运行设计的开源大型语言模型。该模型拥有 70 亿参数,激活 10 亿,采用具有 256 个专家的混合专家(Mixture-of-Experts)架构。它可以在 GPU 上达到每秒 160 个 token 的速度,在 CPU 上达到每秒 50 个 token,并且仅需要 8GB 的显存,使其能够兼容消费级硬件。该模型可在 Apache 2.0 许可下使用。 AI
影响 使 LLM 能够高效地部署在消费级硬件上,可能拓宽人工智能能力的普及范围。
排序理由 Frontier-lab 模型发布,系统卡 [lever_c_demoted from frontier_release: ic=1 ai=1.0]
在 Mastodon — fosstodon.org 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →