实体
QTIP
QTIP
PulseAugur coverage of QTIP — every cluster mentioning QTIP across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新方法提升2位LLM权重解码效率
研究人员开发了一种新颖的2位LLM权重多壳解码方法，旨在提高效率和质量。所提出的方法包括离线扩展到GPU布局以及一个融合的解量化加矩阵向量乘内核，以最小化warp发散。该方法与各种位精确布局进行了测试，在恒定带宽下展示了在大小和速度方面的性能提升，并与FP16等更高精度格式相比显示出有竞争力的结果。
-
新的LLM压缩技术利用了先进的数学和图像适应性
研究人员正在开发先进的大型语言模型（LLM）压缩技术，以降低其计算和存储需求。一篇论文介绍了Leech Lattice Vector Quantization (LLVQ)，该技术利用高维格进行最优球体打包，以实现最先进的压缩性能。另一种方法LACE-SVD使用有损奇异值分解和累积误差校正，在保持模型精度的同时提高压缩率。对于图像压缩，LUMI框架提供了一种与分词器无关的方法，使用冻结的LLM骨干网络，将像素数据适应LLM的嵌入空间，…