Flyweight 是一个开源的 C++/CUDA 引擎,已在 PyPI 上发布,旨在通过利用系统 RAM 来运行超出单个 GPU VRAM 容量的混合专家(MoE)模型。该引擎支持 Qwen、DeepSeek-V4 和 Gemma 等多种模型,并提供 OpenAI/Anthropic 兼容 API 和聊天 UI 等功能。开发者正在寻找贡献者来扩展硬件支持,特别是 AMD 和 macOS 系统,并优化 CPU expert kernels。 AI
影响 使得在消费级硬件上运行更大的 MoE 模型成为可能,从而可能降低高级 AI 实验的门槛。
排序理由 发布了一个用于运行大型模型的开源引擎。
- CPP
- CUDA
- DeepSeek-V4
- flyweight
- Gemma
- graphics processing unit
- MoE models
- Python Package Index
- Qwen
- system RAM
- VRAM
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →