一个名为 Kapitsa 的开源推理引擎已被开发出来，用于优化 Apple Silicon 芯片（包括新的 M4 Pro）上的大型语言模型。该引擎允许像 Recursive 的 Flint 40B 这样的模型在配备 48GB 内存的 MacBook 上高效运行，速度达到每秒 128 个 token。Kapitsa 利用自定义 Metal 内核来提高性能，并兼容各种 API 格式，旨在将强大的 AI 功能带到消费级硬件上。 AI
影响 优化了消费级 Apple 硬件上的 LLM 性能，可能增加了本地 AI 模型部署的可访问性。
排序理由 该条目描述了一个新的开源引擎和模型在消费级硬件上的性能基准测试，符合研究类别。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
