oMLX 推理服务器已更新以支持 Apple Silicon，支持多个大型模型

oMLX 是一个基于 Apple 的 MLX 框架构建的 LLM 推理服务器，已更新至 0.6.4 版本。新版本提供了与 OpenAI 和 Anthropic 兼容的 API、连续批处理以及利用 RAM 和 SSD 的双层 KV 缓存系统。在配备 128 GB 统一内存的 Mac M5 Max 上，用户现在可以同时运行多个大型模型，例如 Qwen3.6-35B-A3B-MLX-8bit 和 Qwen2.5-VL-32B-mlx-4bit，在代码生成方面的性能提升高达 1.88 倍。 AI

影响 支持在 Apple Silicon 上运行多个大型本地 LLM，提高开发人员的生产力以及敏感任务的数据隐私性。

排序理由 该条目详细介绍了特定软件工具的更新和安装指南，而不是核心 AI 模型发布或研究。

在 dev.to — LLM tag 阅读 →

• .anthropic
• Apple Inc.
• BGE-M3-mlx
• Claude Code
• Claude Opus 4.7
• GitHub Releases
• Homebrew
• Lightning MTP
• M5 Max
• MLX
• ModernBERT-base-mlx
• Omlx Local Ai Models
• .openai
• Qwen2.5-VL-32B-mlx-4bit
• Qwen3-14B-Instruct-mlx-4bit
• Qwen3.8-27B oQ4e
• TurboQuant
• unsloth/Qwen3.6-35B-A3B-MLX-8bit
• vLLM

• 产品
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →