实体
SVDQuant
SVDQuant
PulseAugur coverage of SVDQuant — every cluster mentioning SVDQuant across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
BiLoCo方法通过二进制低秩校正削减LLM内存使用
研究人员开发了BiLoCo，一种新颖的训练后量化（PTQ）方法，可在保持准确性的同时显著减小大型语言模型（LLMs）的内存占用。该技术将低秩校正因子存储为二进制符号向量，与SVDQuant等先前方法相比，每个秩的存储量减少了16倍。BiLoCo可以在Blackwell GPU上与主FP4 GEMM操作并行在CUDA核心上处理，从而最大限度地减少性能开销。
-
Krea 2 模型通过 SVDQuant 针对 ComfyUI 进行优化，速度翻倍
一种名为 SVDQuant 的新量化方法，以及原生 INT8/W4A4 支持，已在 ComfyUI 界面内的 Krea 2 模型上开发完成。此优化显著加快了图像生成速度，与标准的 FP8 版本相比，性能提升高达 2 倍，模型大小减小约三分之一。该方法旨在兼容各种 NVIDIA GPU，包括不支持 FP8 张量核心的旧型号。