host RAM

FreeToken 引擎可在个人 PC 上运行大型 MoE 模型

FreeToken 是一个开源引擎，旨在通过将整个 PC 作为异构推理系统来在个人硬件上运行大型混合专家（MoE）模型。它通过将完整的专家池存储在 CPU 主机 RAM 中，同时将非专家权重和共享专家缓存保留在 GPU 中来管理 MoE 模型。该系统动态测量主机内存和 PCIe 带宽，以优化 CPU 和 GPU 之间的专家执行，并采用双缓冲来隐藏预填充期间的传输延迟。此外，FreeToken 还为代理工作负载提供语义感知缓存，允许它在…