一款名为 TurboFieldfare 的新型开源引擎允许用户在内存仅为 2GB 的 Mac 上运行 Gemma 4 26B 指令微调模型。该引擎采用 Swift 和 Metal 开发,将核心模型和 KV 缓存保留在内存中,同时从 SSD 流式传输必要的专家,从而显著降低了内存需求。这种方法使得大型语言模型可以在 Apple Silicon Mac 上运行,即使是那些只有 8GB 统一内存的设备也能运行,从而使先进的 AI 功能在消费级硬件上更加普及。 AI
影响 使在内存占用显著减少的消费级硬件上运行大型语言模型成为可能。
排序理由 该集群描述了一个新的开源引擎,它能够在资源有限的消费级硬件上运行大型语言模型,而不是发布新模型或前沿研究。
在 Hacker News — AI stories ≥50 points 阅读 →
- Apple Silicon
- Gemma 4 26B-A4B
- llama.cpp
- M2 MacBook Air
- Mac
- macOS
- Metal
- Mlx
- OpenAI
- Swift
- TurboFieldfare
- 2GB RAM
- Gemma 4: 26b
- M-series Mac
- Ollama
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →