PulseAugur
实时 12:56:33
English(EN) Gemma4-12B-QAT Uncensored Balanced is out with MTP (~60% speed boost)!

HauhauCS 发布了更快的、未经审查的 Gemma 4 模型,支持 MTP

HauhauCS 发布了其 Gemma 4 模型的新版本,包括 26B-A4B 和 31B 变体,这些模型未经审查,并采用多令牌预测(MTP)以提高速度。26B-A4B 模型是 MoE 架构,可提供约 35% 的更快生成速度,而 31B 模型是密集架构,可提供约 53% 的更快生成速度。此外,还发布了一个支持 MTP 的 12B Gemma 4 QAT Uncensored Balanced 模型,速度提升约 60%。这些模型专为创意写作和角色扮演而设计,推荐 26B-A4B 用于一般用途,31B 用于拥有足够 VRAM 的用户。 AI

影响 这些发布为本地 LLM 用户提供了改进的性能和可访问性,有可能增加这些模型在创意和通用任务中的采用率。

排序理由 社区开发者发布的量化、微调模型,而非前沿实验室。

在 r/LocalLLaMA 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

HauhauCS 发布了更快的、未经审查的 Gemma 4 模型,支持 MTP

报道来源 [2]

  1. r/LocalLLaMA TIER_1 English(EN) · /u/hauhau901 ·

    Gemma4-26B-A4B & 31B-QAT Uncensored Balanced 发布,MTP 带来(35% & 53%)速度提升!

    <!-- SC_OFF --><div class="md"><p>First of all, I'm stoked to announce <strong>we are almost at 20 million downloads on HF!</strong> (counted only on my own account, no duplicates/quants/finetunes/etc) <strong>and almost 5000 members on Discord!</strong></p> <p>Two releases this …

  2. r/LocalLLaMA TIER_1 English(EN) · /u/hauhau901 ·

    Gemma4-12B-QAT Uncensored Balanced 发布,速度提升约 60%!

    <!-- SC_OFF --><div class="md"><p>First of all, I'm stoked to announce <strong>we are almost at 20 million downloads on HF!</strong> (counted only on my own account, no duplicates/quants/finetunes/etc) <strong>and almost 5000 members on Discord!</strong></p> <p><a href="https://h…