开源引擎在配备 2GB RAM 的 Mac 上运行 Gemma 4 26B 模型

一个名为 TurboFieldfare 的新开源项目允许 Gemma 4 26B-A4B 模型在内存仅为 2GB 的 Mac 上运行。该运行时使用 Swift 和 Metal 开发，通过仅将核心模型组件和 KV 缓存保留在内存中，并在需要时从 SSD 流式传输必要的专家来实现这一目标。这项创新使得内存有限的消费级硬件能够访问大型语言模型。 AI

影响 使在内存有限的消费级硬件上运行大型语言模型成为可能，可能提高可访问性。

排序理由 这是一个针对现有模型的第三方工具/运行时，并非来自前沿实验室的发布。

在 Hacker News — AI stories ≥50 points 阅读 →

• Apple Silicon
• Gemma 4 26B-A4B
• llama.cpp
• M2 MacBook Air
• Mac
• macOS
• Metal
• Mlx
• OpenAI
• Swift
• TurboFieldfare

• 基础设施
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →