一位Reddit用户分享了使用oMLX在Apple Silicon上对DeepSeek V4 Flash 8位MLX模型进行的优化。这些修改由Codex实现，重点在于为8位仿射配置启用原生DeepSeek MoE Metal内核，并优化路由排序和解码内核。这些更改带来了显著的速度提升，预填充速度提高了约1.6倍，解码速度提高了约3倍，同时旨在保持模型准确性。 AI
影响 用户驱动的优化可以加速LLM在消费级硬件上的本地部署。
排序理由 针对特定硬件对现有开源模型进行的用户驱动优化，并非来自前沿实验室的主要发布。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
