一位开发者创建了一个优化的 ANEMLL 推理引擎分支,专门用于提升 Qwen 3.8-27B 模型在苹果 Mac Mini M6 硬件上的性能。据报道,这个新分支的速度比原始 ANEMLL 快 4.4–6.1%,比 Splash 推理设置快高达 24.7%。开发者还在开发该模型的 Q4 量化版本,以进一步提高性能和适配性。 AI
影响 这项优化可能会为拥有兼容苹果硬件的用户带来更快的本地推理速度,从而改善在消费级设备上运行大型语言模型的用户体验。
排序理由 这是对现有推理引擎的一个分支,用于在特定硬件上优化特定模型,而不是一个新的模型发布或重大的行业事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →