一种名为 Session-Adaptive Orthogonal Distillation (SAOD) 的新技术被提出，旨在显著压缩大型语言模型。该方法旨在将一个拥有 7440 亿参数、当前占用 1.5TB 空间的模型压缩至 100GB 以下。其潜在影响是，如此规模的模型可能可以在仅配备 8GB VRAM 的硬件上运行。 AI
影响 使在消费级硬件上运行显著更大的模型成为可能，从而普及先进的 AI 能力。
排序理由 该条目描述了一种新的模型压缩技术方法，属于研究范畴。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
