Svenska(SV) I didn't give up - extGemma4-40_5B returned

用户成功将 Gemma 4.31B 模型扩展到 40.5B 参数

作者 PulseAugur 编辑部 · [1 个来源] · 2026-07-12 03:49

一位用户通过添加新层成功地将 Gemma 4.31B 模型扩展到了 40.5B 参数，克服了新层未学习的初始失败。成功的关键在于将新层初始化为执行相邻层任务的混合体，使它们能够从一开始就接收反馈并进行学习。用户还发现，这些新层的战略性放置以及保持原始音量设置对于模型的性能至关重要。 AI

影响展示了一种扩展现有微调模型的创新方法，可能实现更大的定制化和容量。

排序理由用户驱动的现有开源模型的修改和扩展。[lever_c_demoted from research: ic=1 ai=1.0]

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

r/LocalLLaMA TIER_1 Svenska(SV) · /u/Desperate-Sir-5088 · 2026-07-12 03:49

我没有放弃 - extGemma4-40_5B 已回归

<div class="md"><p>Continue from my previous posts:</p> <p><a href="https://www.reddit.com/r/LocalLLaMA/comments/1ul0cx9/i_extended_gemma431b_to_44b_88_layers_since/">https://www.reddit.com/r/LocalLLaMA/comments/1ul0cx9/i_extended_gemma431b_to_44b_88_layers_since/<…