Apple 发布了 MLX LM 服务器，这是一款旨在提升 Mac 硬件上大型语言模型性能的新工具。它利用 M5 芯片的神经网络加速器来加快提示处理速度，并采用连续批处理来同时管理多个请求。对于超大型模型，该服务器支持使用 Thunderbolt RDMA 在多台 Mac 之间进行分布式推理。 AI
影响 增强了 Apple 硬件上的 LLM 推理能力，可能改进本地 AI 开发和部署。
排序理由 这是来自一家主要科技公司的新软件产品发布。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<table> <tr><td> <a href="https://www.reddit.com/r/LocalLLaMA/comments/1u0prwa/new_mlx_lm_server_from_apple/"> <img alt="New MLX LM Server From Apple" src="https://external-preview.redd.it/udxT3Iu0FFPg12arhkqcqlbFQ8UwAFBHJHi2Nz2iQGI.jpeg?width=320&crop=smart&auto=webp&…