PulseAugur
中
实时 22:33:39
English(EN) UltraSketchLLM: Sub-1-Bit LLM Compression via Sketch and Hardware-Friendly Operators

新研究探索极端LLM压缩技术

作者 PulseAugur 编辑部 · [2 个来源] ·

两篇新研究论文提出了压缩大型语言模型（LLM）的新颖方法，以减小其内存占用并提高效率。第一篇论文《LLM Compression by Block Removal with Constrained Binary Optimization》将LLM压缩构建为一个二元优化问题，在Llama-3.3-70B-Instruct的MMLU基准测试上取得了显著的提升。第二篇论文《UltraSketchLLM》引入了一种使用数据草图的低于1比特的压缩技术，该技术减少了峰值GPU内存，并在可容忍的性能下降的情况下提供了显著的加速。 AI

影响 这些压缩技术可以使强大的LLM在资源受限的硬件上部署，从而扩大可访问性和应用范围。

排序理由 该集群包含两篇详细介绍LLM压缩新颖方法的学术论文。

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新研究探索极端LLM压缩技术

报道来源 [2]

  1. arXiv cs.AI TIER_1 English(EN) · David Jansen, Roman Rausch, Ali Hashemi, David Montero, Rom\'an Or\'us ·

    通过约束二元优化进行块移除的LLM压缩

    arXiv:2602.00161v2 Announce Type: replace-cross Abstract: In this paper, we formulate the compression of large language models (LLMs) by optimally deleting transformer blocks (``block removal'') as a constrained binary optimization (CBO) problem that can be mapped to a physical s…

  2. arXiv cs.AI TIER_1 English(EN) · Sunan Zou, Xueting Sun, Ziyun Zhang, Guojie Luo ·

    UltraSketchLLM：通过草图和硬件友好算子实现低于1比特的LLM压缩

    arXiv:2506.17255v2 Announce Type: replace-cross Abstract: Large language models (LLMs) require larger GPU memory size these days, necessitating efficient and extreme weight compression methods. Existing compression methods are either theoretically limited by 1 bit per weight or f…

相关实体

相关话题