一款名为 QuarkStar 的新型推理引擎已被开发出来，其灵感来源于 DwarfStar，但针对低配置硬件进行了优化。它使得 Qwen3.6-35B-A3B 和 KAT-Coder-V2.5-Dev 等大型语言模型能够在内存仅为 16GB 的机器上运行，在 Linux 上使用 Vulkan，在 Apple Silicon 上使用 Metal。该引擎还支持 SSD 流式传输，以运行超出可用内存的模型，旨在无需昂贵的硬件即可实现强大的本地 AI。 AI
影响 降低了在本地运行高级大型语言模型的门槛，有可能增加在消费级硬件上的采用率。
排序理由 该条目描述了一个用于在性能较低的硬件上运行现有模型的新软件工具。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
