一种名为 Kimi-K3.1-Pro-Coder (2.8T) 的 Kimi-K3.1-Pro-Coder 模型的新实验性量化已被开发出来，将其大小从 1.77 TB 减少到 775 GB。这是通过多层量化策略实现的，不同的专家以不同的比特率（2.81 bpw、2.56 bpw 和 1.44 bpw）进行量化，而核心组件则保持较高精度。该模型利用了一个名为 Strata 的自定义加载器和卸载引擎，该引擎将专家分布在 GPU VRAM、系统 RAM 和 NVMe 存储中，并结合了融合的 Triton 反量化内核 (dr-triton) 来维持性能。 AI
影响 展示了先进的量化和卸载技术，这些技术可以使更大的模型在更易于访问的硬件上运行。
排序理由 发布了一个具有显著尺寸减小和新颖技术方法的新模型变体。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
