English(EN) FreeToken Just Shipped. Is It Better Than Ollama and llama.cpp?

FreeToken 以新的 MoE 服务引擎挑战 Ollama 和 llama.cpp

作者 PulseAugur 编辑部 · [1 个来源] · 2026-08-28 14:01

FreeToken 是一款新发布的混合专家（MoE）模型服务引擎，并已与 Ollama 和 llama.cpp 等现有工具进行了比较。与在加载时将模型权重在 GPU 和 CPU 之间分割的 Ollama 和 llama.cpp 不同，FreeToken 采用了一种动态方法。它将所有专家保留在 CPU RAM 中，并将 GPU 的剩余内存用作最近使用专家的 LRU 缓存，根据实时带宽测量结果智能地决定是通过 PCIe 加载权重还是在 CPU 上进行计算。 AI

影响为 MoE 模型引入了一种新颖的服务引擎，可能在资源受限的硬件上提供性能改进。

排序理由模型服务的新软件工具发布。

在 Towards AI 阅读 →

基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

FreeToken 以新的 MoE 服务引擎挑战 Ollama 和 llama.cpp

本文如何被排名

Signal score: 45 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 模型服务的新软件工具发布。
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: infra; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

Towards AI TIER_1 English(EN) · Abhinandan Malhotra · 2026-08-28 14:01

FreeToken 已发布。它比 Ollama 和 llama.cpp 更好吗？

<h4>Testing the radical new MoE serving engine against the reigning champions on a 6GB laptop</h4><p>FreeToken shipped recently. As a new serving engine for Mixture of Experts (MoE) models, its headline claim of running a 753B parameter model on a single GPU garnered a lot of att…

本文如何被排名

报道来源 [1]

FreeToken 已发布。它比 Ollama 和 llama.cpp 更好吗？

相关实体

相关话题