MoE-Infinity

FreeToken 使大型 MoE 模型能在单 GPU 上运行

来自加州大学伯克利分校和德克萨斯大学奥斯汀分校的研究人员开发了 FreeToken，这是一个开源服务引擎，旨在单台工作站 GPU 上运行大型 MoE 模型，显著降低了先进 AI 的硬件门槛。该系统通过采用带宽自适应执行和语义感知缓存来有效管理 CPU 和 GPU 之间的计算，从而解决了现有引擎的局限性。FreeToken 使 753B GLM-5.2 等模型能在消费级硬件上以交互速度运行，使强大的人工智能能力对个人开发者和小团队更加易于获取。