Reddit上的一篇讨论探讨了2位量化感知训练（QAT）在大型混合专家（MoE）模型中的潜力。用户推测，拥有1200亿至4000亿参数的此类模型，在拥有64-128 GB内存的消费级硬件上可能是可行的。虽然承认2位QAT的性能无法与8位或16位相媲美，但它可能比从头开始训练三元LLM提供更好的替代方案，并且对于创意写作等任务仍然可行。 AI
排序理由 这是论坛上关于一种潜在技术方法的用户讨论，并非发布或研究论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<!-- SC_OFF --><div class="md"><p>So far model releases that take advantage of Quantization a<br /> Aware Training (QAT) have been focused on 4-bit. </p> <p>I’m curious what could be accomplished with a larger MoE model around 120b up to 400b. Obviously the model could not approa…