实体
NeuralZip
NeuralZip
PulseAugur coverage of NeuralZip — every cluster mentioning NeuralZip across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新研究探索用于大型语言模型的先进压缩技术,包括条件计算和结构引导方法
三篇新研究论文探索了大型语言模型的先进压缩技术。LRCC将条件计算引入低秩分解,动态分配每个token的计算量,以提高Llama和Qwen等模型的性能。NeuralZip专注于通过重用统计分析和代码构建来实现快速无损压缩,从而显著加快速度并实现精确重建。OrBIT提出了一个用于嵌入压缩的结构引导框架,学习可重用的局部几何形状,在GPT-2等模型上实现高压缩率,同时保持有竞争力的性能。
-
新研究探讨 LLM 和 Vision Transformer 压缩技术 · 已追踪 10 个来源
多篇研究论文探索了压缩大型语言模型 (LLM) 和 Vision Transformer (ViT) 的新颖方法,以降低计算成本并提高效率。技术包括使用数据驱动方法 (SoCo) 优化奇异谱、利用表示质量进行泛化边界约束,以及采用基于 LZ77 压缩的新颖性修补。其他方法侧重于语义可变分辨率分词、重建引导分词凝结以及 ViT 的无训练剪枝和合并策略。此外,研究还探讨了用于快速生成图像和视频压缩的 Hadamard 码本。