PulseAugur
实时 02:31:40
English(EN) I ported TurboFieldfare to Qwen 3.6 35B and it runs in 1.4 GB of RAM

TurboFieldfare引擎适配Qwen 3.6 35B,降低RAM使用量

一位用户已成功将最初为Gemma模型设计的TurboFieldfare引擎适配到支持Qwen 3.6 35B。由于其更小的专家模型和线性注意力机制的使用,此次移植使得Qwen模型所需的RAM更少,约为1.4 GB,而Gemma需要2.1 GB。虽然在用户的M5机器上,Qwen模型的每秒令牌数速度较慢,但这归因于其更大的专家模型文件需要更频繁的SSD读取。 AI

影响 通过现有的高效引擎,能够以更低的资源部署Qwen模型。

排序理由 用户将现有引擎移植到新模型。

在 r/LocalLLaMA 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

TurboFieldfare引擎适配Qwen 3.6 35B,降低RAM使用量

报道来源 [1]

  1. r/LocalLLaMA TIER_1 English(EN) · /u/Blahblahblakha ·

    我将 TurboFieldfare 移植到了 Qwen 3.6 35B,它在 1.4 GB RAM 中运行

    <table> <tr><td> <a href="https://www.reddit.com/r/LocalLLaMA/comments/1vbp8te/i_ported_turbofieldfare_to_qwen_36_35b_and_it/"> <img alt="I ported TurboFieldfare to Qwen 3.6 35B and it runs in 1.4 GB of RAM" src="https://external-preview.redd.it/bjJzaDF4ODA0a2doMTeG42tysRNKHjpprP…