NeuralZip

新研究探索用于大型语言模型的先进压缩技术，包括条件计算和结构引导方法

三篇新研究论文探索了大型语言模型的先进压缩技术。LRCC将条件计算引入低秩分解，动态分配每个token的计算量，以提高Llama和Qwen等模型的性能。NeuralZip专注于通过重用统计分析和代码构建来实现快速无损压缩，从而显著加快速度并实现精确重建。OrBIT提出了一个用于嵌入压缩的结构引导框架，学习可重用的局部几何形状，在GPT-2等模型上实现高压缩率，同时保持有竞争力的性能。