Precisit 开发了一个 1.6 MB 的模型,其 Connect Four 表现与 7.8 MB 的 int8 版本相当。这个新模型采用了 Sherry 的 3:4 三进制格式,实现了每权重 1.375 比特,并通过 WebGPU 在浏览器中高效运行。研究表明,使用此格式进行训练对于最佳性能至关重要,因为训练后转换会显著降低模型的性能。 AI
影响 展示了适用于 LLM 的重要模型压缩技术,实现了更小、更高效的部署。
排序理由 介绍新模型格式及其应用的 연구 논문. [lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →