RTX 20xx

新的 GGUF Q8_CR 格式针对特定 GPU 优化了扩散模型

一种名为 Q8_CR 的新 GGUF 格式已被开发出来，旨在针对 Ampere 和 Turing 等特定 GPU 架构优化扩散模型。该格式利用 ComfyUI 的 INT8 内核，并旨在最大限度地减小 INT8 和 FP16 检查点之间的质量差异。Q8_CR 将线性权重存储为预旋转的 INT8 和 FP32 标度，同时为敏感张量保留精度，与标准的 Q8_0 和 FP16 格式相比，提供了更快的推理速度和更少的 VRAM 使用量。