Mininglamp AI 开发了 Cider，一个通过添加 W8A8 激活量化来增强 MLX 框架的新 SDK。此优化显著加快了 Apple Silicon 上大型视觉语言模型的预填充过程，将 M5 Pro 芯片上的预填充时间从 2.84 秒减少到 2.52 秒。该 SDK 利用自定义 Metal 内核，并为通过 MLX 运行的模型提供性能改进，尽管 INT8 TensorOps 仅限于 M5 及以上处理器。 AI
影响 提高了 Apple Silicon 上 AI 模型的推理速度，可能加速本地 AI 的开发和部署。
排序理由 这是一个软件工具发布，增强了现有框架，而不是核心模型发布或重大的行业范围事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
