JACCL

oMLX 支持在 Apple Silicon 上进行本地 LLM 托管，并实现分布式推理

oMLX 是一款专为使用 Apple Silicon Mac 的开发者设计的开源工具，用于在本地托管大型语言模型。它利用 FastAPI 和 Apple 的 MLX 框架，提供并发请求处理、分级 KV 缓存（RAM 和 SSD）以及跨多台 Mac 的实验性分布式推理等高级功能。此设置旨在为编码代理等要求严苛的应用提供高效的上下文管理和高吞吐量推理。