实体
FP8 quantization
FP8 quantization
PulseAugur coverage of FP8 quantization — every cluster mentioning FP8 quantization across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
Gemma 2 9B FP8 量化显示预填充延迟但生成速度更快
对自托管 Gemma 2 9B 模型（特别是其 FP8 量化变体）的基准测试评估，在与 Frontier API 相比时揭示了权衡。虽然 FP8 量化由于预填充期间的反量化开销，显著增加了长而复杂提示的首次令牌时间（TTFT），但它在中间长度生成序列的端到端延迟方面提供了实质性收益。研究发现，对于简历生成等特定的单轮任务，9B 参数模型即使经过量化，也保持了高保真度和语义准确性，表明其在某些生产工作负载中的可行性。
-
club-3090 为 Qwen3.6-27B 模型添加了 FP8 支持
club-3090 项目已为 Qwen3.6-27B 模型引入了实验性 FP8 量化支持。此新功能对于使用双 RTX 3090 显卡的用户尤其重要。据报道，FP8 量化模型的性能与原始未量化的 BF16 版本几乎相同。
-
DeepSeek V4 基准测试显示 524k 上下文达到 85 token/秒；Ollama Ryzen APU 指南发布
新的基准测试显示，DeepSeek V4 Flash 在双 RTX PRO 6000 Max-Q GPU 上利用 MTP 自我推测和 FP8 量化，实现了 524k 上下文窗口的每秒 85 token 的性能。此外，一份关于在 Ryzen APU 上使用 DeepSeek 模型设置 Ollama 的指南已发布，使没有独立显卡的用户也能更方便地进行本地大模型推理。修改后的 llama.cpp 存储库现已支持 DeepSeek V4 Pr…