实体
FreeToken
FreeToken
PulseAugur coverage of FreeToken — every cluster mentioning FreeToken across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
FreeToken 使大型LLM能够在单个工作站GPU上运行
FreeToken 是一个新系统，旨在运行极大型语言模型，特别是拥有7530亿参数的模型，可以在单个工作站GPU上运行。它通过将个人计算机视为弹性推理平台来实现这一点，动态地在GPU、CPU和系统内存之间分配计算。
-
FreeToken 使大型 MoE 模型能在单台工作站 GPU 上运行
来自加州大学伯克利分校和德克萨斯大学奥斯汀分校的研究人员开发了 FreeToken，这是一个原生于边缘的混合专家（MoE）服务引擎，旨在单台工作站 GPU 上运行大型语言模型。该系统通过将个人机器视为统一的推理平台，解决了在消费级硬件上部署 GLM-5.2（753B 参数）等强大模型的挑战。FreeToken 优化了可用 GPU、CPU 和内存资源之间的计算和模型状态映射，使得通常需要数据中心级基础设施的模型能够实现交互式速度。该引擎…
-
FreeToken 系统使大型 MoE 模型能在个人设备上运行
一个名为 FreeToken 的新服务系统已被开发出来，以支持大型专家混合（MoE）模型在个人设备上的高效运行。该系统动态适应异构本地硬件，优化计算和模型状态，以持续映射到可用资源。FreeToken 支持广泛的 MoE 模型和代理工作负载，允许在消费级硬件上部署明显更大的模型，例如在单个工作站 GPU 上运行 753B 模型。