Int8
PulseAugur coverage of Int8 — every cluster mentioning Int8 across labs, papers, and developer communities, ranked by signal.
15 天有情绪数据
-
Krea 2 Turbo 模型量化大幅缩小文件大小并提升速度
已开发出 Krea 2 Turbo 模型的一种实验性转换器，支持混合精度 ConvRot W4A4 量化。此过程显著减小了模型文件大小和 VRAM 使用量，激进的 INT4 版本达到了 11.88 GB。测试 Q3 混合精度配置显示，生成速度有了实质性提升，比原始 BF16 模型快约 2.7 倍，同时保持了出乎意料的良好图像质量。
-
探索用于NVIDIA Jetson边缘部署的小型视觉语言模型（VLM）量化
本文研究了小型视觉语言模型（VLM）的量化，以实现其在边缘设备上的高效部署，特别是NVIDIA Jetson Orin NX和AGX。研究系统地评估了六种量化配置下的五种假设，结果表明模型架构（MoE vs. 密集型）对量化敏感性有显著影响，MoE模型更能处理INT4噪声。研究还发现，SigLIP编码器在Jetson Ampere硬件上由于特定的内核-硬件交互而引入延迟，并且虽然INT4量化减少了VRAM，但可能会减慢令牌生成速度。复…
-
新框架通过状态分析对深度神经网络进行经验性压缩
研究人员开发了一种通过分析其内部状态的可控性和可观测性来压缩深度神经网络的新颖方法。该框架将训练好的网络视为动力学系统，使用数据驱动的测试来估计隐藏状态内的冗余度。该方法成功地减小了MNIST和CIFAR-10数据集上网络的态阶，在状态和参数方面实现了显著压缩，同时在很大程度上保持了准确性并提高了推理速度。
-
Alphgreed int8 模型发布，在保持质量的同时减小了模型尺寸
Alphgreed 基础模型的新 int8 版本已发布，将其尺寸减小到 6GB，同时保持与 fp16 版本相同的质量。创作者声称，这个优化后的模型能带来非凡的结果，尤其是在低 CFG 尺度（1-2）下，并计划在 Civitai 更新模型和相关工作流程。创作者还指出，“Wow z image base”仍然是微调的首选模型，尤其是在生成手部图像方面。
-
ComfyUI 迎来 Starnodes 模型转换器，实现更快的模型转换
ComfyUI 发布了一个名为 Starnodes Model Converter 的新模型转换节点。该工具旨在快速转换各种模型格式，包括 FP32, FP16, FP8, Int8 和 AIO Checkpoints。它提供 FP32, FP16, FP8, Int8, CONVROT 和 NVFP4 格式的输出，并内置了许多模型的质量配置文件。该转换器可在 GitHub 上获取。
-
ComfyUI 用户寻求原生 FLUX.2 INT8 实现
一位 Reddit 用户正在寻找关于 ComfyUI 界面中 FLUX.2 模型特定实现的信息。他们正在寻找一种不依赖第三方节点的原生 INT8 卷积实现，并特别提到希望避免使用 BobJohnson24 的节点作为一种变通方法。
-
Qwen3.5 模型量化用于 ComfyUI，可在 8GB 显存上运行
一位用户发布了 Qwen3.5 模型（2B、4B 和 9B 参数）的量化版本，供 ComfyUI 使用。这些采用 ConvRot 量化的 INT8 模型设计用于在仅需 8GB 显存的系统上高效运行。该用户提供了现有 BF16 模型的直接替换方案，并包含用于 LoRA 训练的图像提示、分析和字幕生成的工作流。
-
用户寻求 Int8 Qwen Image Edit 模型以提高效率
一位 Reddit 用户正在寻找 Qwen Image Edit 模型的 Int8 版本，并指出该模型在其 12GB 3060 显卡上具有效率和性能优势。他们观察到，虽然 Int8 加速了 Krea 2 和 Ideogram 等其他工具，但对 LTX 的影响较小。用户强调，尽管新模型取得了进展，但像 Qwen 这样的大型模型在某些功能上仍然是必不可少的。
-
优化 SLM 服务：AWQ、GPTQ、GGUF 和动态 LoRA
本文探讨了为企业环境优化小型语言模型（SLM）的服务，重点关注降低延迟、提高并发性和最小化成本。文章比较了三种量化格式：AWQ、GPTQ 和 GGUF，并推荐 AWQ，因为它在 GPU 上实现了准确性和速度的平衡。文章还详细介绍了如何使用 vLLM 实现动态 LoRA 服务，以有效地管理共享基础设施上多个微调模型的行为，从而减少 VRAM 使用量和计算成本。
-
新研究推动扩散模型在量化、运动生成和RLHF方面的进展
研究人员开发了改进扩散模型的新方法。其中一篇论文介绍了引导感知混合精度（GAMP），以解决无分类器引导（CFG）扩散模型中的量化挑战，防止无条件分支漂移。另一篇论文提出了ARDY，一个用于文本和运动学控制的实时、高保真3D人体运动生成的框架。此外，还提出了一种名为ContrastiveCFG的新方法，通过使用对比损失来增强条件扩散模型的采样，以实现更好的概念对齐和过滤。最后，详细介绍了样本高效扩散RLHF的进展，其特点是选择性时间步加…
-
Stable Diffusion用户报告INT8与LoRA存在性能问题
Stable Diffusion用户遇到了一个性能问题，通常能使生成速度翻倍的INT8精度，在同时应用LoRA（Low-Rank Adaptation）时会导致显著的减慢。这抵消了INT8的速度优势，在使用LoRA时，生成时间与标准的FP8精度相当甚至更慢。该问题已被Reddit等平台上的多位用户报告，表明在Stable Diffusion生态系统中存在普遍的兼容性或优化挑战。
-
ComfyUI 获得运行时量化，加速 AI 图像生成
新开发的名为 QuantFunc 的 ComfyUI 节点能够实现 AI 模型的运行时 4 位量化，显著加快推理速度。这使得用户无需预量化模型检查点即可即时应用量化，在 RTX 4090 上使用 Ideogram 4 等模型时速度约提升 4 倍。此外，还发布了 Boogu-Image-0.1-Turbo 模型的 INT8 量化新版本，针对 ComfyUI 进行了优化，以减少 VRAM 使用并提高加载速度，需要自定义节点以在某些 GPU…
-
ComfyUI新增原生INT8支持，加速Stable Diffusion图像生成
ComfyUI，一个流行的Stable Diffusion界面，已正式集成INT8量化的原生支持。此次更新允许用户直接在ComfyUI中加载INT8模型和文本编码器，显著提高了性能并减少了内存使用。预计此次集成将实现更快的图像生成速度，并为硬件配置较低的用户提供更广泛的可访问性。
-
Krea2 Turbo FP8 模型在字符识别和性能方面进行测试
用户正在测试 Krea2 Turbo FP8 模型，并注意到其性能和字符识别能力。一项广泛的测试涉及超过 1000 个提示，以评估模型识别各种媒体中字符的能力，发现它在识别流行人物方面表现良好，但在识别更小众人物方面表现有所不同。基准测试表明，在 3090 GPU 上，int8 精确度版本比 FP8 版本快约 1.9 倍，图像质量相当。然而，一些用户更喜欢 klein9b 等其他模型，因为其编辑能力。
-
Krea 2 图像模型发布多个量化版本，拓宽GPU可访问性
Krea 2 图像生成模型已发布量化版本，包括 FP8、MXFP8、NVFP4 和 INT8 格式，使其能够被更广泛的GPU访问。该模型有两种变体：用于训练和微调的 Krea 2 Raw，以及用于更快推理的 Krea 2 Turbo。这些量化文件可在 HuggingFace 上免费获取，并为不同级别的GPU提供了具体建议。
-
轻量级Transformer模型用于设备端故障检测的基准测试
一项新的基准研究将轻量级Transformer模型与传统的机器学习方法进行了比较，用于设备端故障检测。研究发现，虽然Transformer在某些数据集上的准确率可以与传统方法相媲美，但它们的体积和速度都明显更大。TinyBERT-4L被确定为最适合部署的Transformer模型，而INT8量化在减少模型大小的同时对性能损失很小。研究还强调了处理严重不平衡数据集的挑战，表明当前方法在这些场景下存在局限性。
-
AMD 发布 RX 7000 GPU 的 FSR 4.1，提升 300 多款游戏性能
AMD 已为其 RX 7000 系列 GPU 发布了 FSR 4.1 支持，早于原定的七月发布日期。AMD 的 FidelityFX Super Resolution 技术的新版本现已在 300 多款游戏中可用，可显著提升性能，尤其是在更高分辨率下。AMD 也在努力为 RDNA 3 APU 带来 FSR 4.1，并计划在 2027 年初支持更旧的 RDNA 2 硬件。
-
SwitchBraidNet架构为低功耗部署提供轻量级混合BCI
研究人员开发了SwitchBraidNet，一种用于混合脑机接口（BCI）的新型轻量级架构，集成了运动想象和稳态视觉诱发电位。该紧凑模型专为低功耗嵌入式系统设计，采用双路径时间编织进行特征提取，并采用自适应空间开关进行电极门控。在OpenBMI数据集上进行测试，SwitchBraidNet在包括INT8在内的各种数值精度下均展示了效率和性能，最小占用空间仅为3.03 KB。
-
新的INT8内核加速消费级GPU上的Diffusion Transformer
研究人员开发了一种融合INT8 GEMM内核，可显著加速消费级安培GPU上的Diffusion Transformer。该新内核允许利用硬件的INT8张量核心，克服了之前使INT8比FP8和NF4替代方案慢的软件限制。优化后的内核实现了2.8-4.2倍更快的GEMM操作，并在更高分辨率下提供了约1.1倍的整体图像生成速度提升，使得在单个消费级GPU上生成1024px图像成为可能。
-
新的量化方法使 Ideogram 4.0 能够在消费级 GPU 上运行
研究人员为 Ideogram 4.0 文本到图像扩散 Transformer 开发了新的训练后量化技术。他们的 INT8 W8A8 方法在缺乏 FP8 张量核心的消费级 GPU 上保持了 FP8 质量，性能优于 NF4 量化。此外，他们的 GGUF Q4_K 量化提供了比 NF4 更好的质量-内存权衡。