一位 Reddit 用户提出了一种新颖的推测性解码技术,用于运行超出 GPU VRAM 的大型语言模型。该方法涉及在 GPU 上保留模型的 2 位版本以起草 token,并将剩余的权重存储在系统 RAM 中。然后,CPU 内核会验证这些起草的 token,只有激活会通过 PCIe 传输。据报道,这种方法提供的质量与 8 位量化相当,同时显著降低了 VRAM 需求,并提高了与现有方法相比的起草接受率。 AI
影响 通过优化 VRAM 使用,可以在消费级硬件上运行更大的语言模型。
排序理由 用户提交的关于一种新颖的运行 LLM 技术的研究。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →