FreeToken 是一个新系统，旨在运行极大型语言模型，特别是拥有7530亿参数的模型，可以在单个工作站GPU上运行。它通过将个人计算机视为弹性推理平台来实现这一点，动态地在GPU、CPU和系统内存之间分配计算。 AI
影响 这项技术有可能显著降低运行大型语言模型的硬件门槛，从而可能普及先进的AI能力。
排序理由 该条目描述了一个用于运行LLM的新系统/引擎，属于‘工具’类别。
在 Mastodon — fosstodon.org 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
FreeToken enables a 753 billion parameter model to run on a single workstation GPU by treating a personal machine as a unified elastic inference platform. The system dynamically maps computation across GPU, CPU and memory. https://www. marktechpost.com/2026/08/23/me et-freetoken-…