OVHcloud 发布了 Olala-v1.0-mini-7A1B,这是一个拥有约 10 亿活跃参数(每 token)的 68 亿参数混合专家模型。该模型在 Hugging Face 上以 Apache 2.0 许可提供,包含基础、SFT 和后训练等各种检查点。初步报告称需要 8 GB 内存,但仅 BF16 文件就达 13.59 GB,而 Q5_K_M 等量化版本将大小减少到约 5.99 GB。该模型的性能声明暗示需要显著的内存带宽,并且自托管者将需要流行 LLM 加载软件的特定分支,因为当前版本尚不支持其架构。 AI
影响 需要特定的软件分支才能自托管,这表明标准 LLM 工具的用户可能面临兼容性挑战。
排序理由 该条目详细介绍了新 LLM Olala-v1.0-mini-7A1B 的发布,包括其技术规格、内存要求和性能声明,属于研究和模型发布类别。[lever_c_从研究降级:ic=1 ai=1.0]
- Apache Software License 2.0
- GGUF
- Hugging Face
- Jean Zay
- Jupiter
- L4
- L40S
- llama.cpp
- LM Studio
- MeluXina - Accelerator Module
- Mlx
- NVIDIA GH200
- NVIDIA H100
- Olala-v1.0-mini-7A1B
- Ollama
- OVHaiLLM
- OVHcloud
- vLLM
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →