PulseAugur
实时 02:59:55
English(EN) club-3090 adds experimental FP8 support for Qwen3.6-27B!

club-3090 为 Qwen3.6-27B 模型添加了 FP8 支持

club-3090 项目已为 Qwen3.6-27B 模型引入了实验性 FP8 量化支持。此新功能对于使用双 RTX 3090 显卡的用户尤其重要。据报道,FP8 量化模型的性能与原始未量化的 BF16 版本几乎相同。 AI

影响 使在消费级硬件上更高效地进行特定大型语言模型的本地推理成为可能。

排序理由 这是现有开源模型的优化版本发布,而非前沿新模型发布。[lever_c_demoted from research: ic=1 ai=0.7]

在 r/LocalLLaMA 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. r/LocalLLaMA TIER_1 English(EN) · /u/xspider2000 ·

    club-3090 为 Qwen3.6-27B 添加了实验性 FP8 支持!

    <!-- SC_OFF --><div class="md"><p>It’s finally here! Something many of us running dual RTX 3090 rigs have been anticipating. club-3090 has rolled out experimental support for <strong>Qwen3.6-27B</strong> with <strong>FP8 quantization</strong>.</p> <p>The official Qwen/Qwen3.6-27B…