OVHaiLLM 发布了 Olala-v1.0-mini-7A1B,这是一款专为聊天、指令遵循和工具使用而设计的紧凑型推理模型。该模型由 OVHcloud 的 OVHai LLM 在欧洲开发,采用了 Mamba-3 和注意力混合专家架构。它每个 token 约有 10 亿个活跃参数,并且可以在消费级硬件上高效运行,适合本地部署。 AI
影响 该模型高效的设计和推理能力可以使消费级硬件和边缘设备上的 AI 应用更加复杂。
排序理由 知名实验室(OVHaiLLM/OVHcloud)发布模型。[lever_c_demoted from frontier_release: ic=2 ai=1.0]
在 Hugging Face Trending Models 阅读 →
- Docker
- Hugging Face
- Mamba-3
- OVHaiLLM
- OVHaiLLM/Olala-v1.0-mini-7A1B
- SGLang
- Transformers
- vLLM
- llama.cpp
- OVHcloud
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →