一位开发者优化了 qMLX 引擎，以便在内存为 96GB 的单台 Mac Studio 上高效地为 Qwen3.5-122B 模型的多个会话提供服务。通过实施一种严重依赖磁盘 KV 缓存的冷缓存策略，系统显著减少了预填充计算量，从而能够以最小的 GPU 负载运行并发会话。此优化使得本地模型可用于子代理功能。 AI
影响 优化了运行大型语言模型的本地硬件使用，可能使消费级机器上能够运行更复杂的 AI 应用。
排序理由 这是针对本地硬件对现有模型和软件进行的技朮优化，并非前沿发布或重大的行业事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<!-- SC_OFF --><div class="md"><p>Hello all</p> <p>Just following up on a post I made <a href="https://old.reddit.com/r/LocalLLaMA/comments/1uuwrc0/running_qwen35122b_on_mac_studio_96gb_fixed_3/">last week</a> about my experiment to try minmax my Mac Studio. In particular, I've h…