AMD BC-250

QuarkStar 引擎可在 16GB 机器上运行大型语言模型

一款名为 QuarkStar 的新型推理引擎已被开发出来，其灵感来源于 DwarfStar，但针对低配置硬件进行了优化。它使得 Qwen3.6-35B-A3B 和 KAT-Coder-V2.5-Dev 等大型语言模型能够在内存仅为 16GB 的机器上运行，在 Linux 上使用 Vulkan，在 Apple Silicon 上使用 Metal。该引擎还支持 SSD 流式传输，以运行超出可用内存的模型，旨在无需昂贵的硬件即可实现强大的本地 AI。