PulseAugur
中
实时 06:53:36
English(EN) Holding the FP8 Quality Ceiling at 8-Bit Weights and Activations: INT8 and GGUF Post-Training Quantization of Ideogram 4.0 for Consumer GPUs

新的量化方法使 Ideogram 4.0 能够在消费级 GPU 上运行

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了新的训练后量化技术，使 Ideogram 4.0 文本到图像扩散模型能够在消费级 GPU 上运行。他们的 INT8 W8A8 方法保留了 FP8 质量，性能优于 NF4 量化并保持了文本可读性。此外，GGUF Q4_K 量化为消费级硬件提供了质量和内存使用之间的帕累托最优平衡。 AI

影响 使先进的文本到图像模型能够在更易于访问的消费级硬件上运行，从而可能拓宽创意 AI 的使用范围。

排序理由 该集群包含一篇详细介绍模型量化新技术的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Tony Salomone ·

    将 FP8 质量上限保持在 8 位权重和激活：用于消费级 GPU 的 Ideogram 4.0 的 INT8 和 GGUF 训练后量化

    Post-training quantization lets large text-to-image diffusion transformers run on consumer GPUs, yet the hardware-specific trade-offs are seldom measured directly. We quantize Ideogram 4.0 - a 9.3B flow-matching diffusion transformer (DiT), shipped as two separate-weight copies o…

相关实体

相关话题