FP8 quantization
PulseAugur coverage of FP8 quantization — every cluster mentioning FP8 quantization across labs, papers, and developer communities, ranked by signal.
-
新的TESR方法通过目标感知注意力增强推荐系统
一篇新的研究论文介绍了目标感知早期排序（TESR），这是一种改进大规模推荐系统的新方法。TESR通过引入注意力混合（MoA）模块来解决传统双塔架构的局限性。该模块通过用户历史和候选项目之间的显式重叠信号、隐式亲和力和情境化来捕获细粒度的交互。为了确保效率，TESR通过FP8量化和自定义内核进行了优化，并已成功部署在生产环境中，展示了显著的离线和在线性能提升。
-
Gemma 2 9B FP8 量化显示预填充延迟但生成速度更快
对自托管 Gemma 2 9B 模型（特别是其 FP8 量化变体）的基准测试评估，在与 Frontier API 相比时揭示了权衡。虽然 FP8 量化由于预填充期间的反量化开销，显著增加了长而复杂提示的首次令牌时间（TTFT），但它在中间长度生成序列的端到端延迟方面提供了实质性收益。研究发现，对于简历生成等特定的单轮任务，9B 参数模型即使经过量化，也保持了高保真度和语义准确性，表明其在某些生产工作负载中的可行性。
-
club-3090 为 Qwen3.6-27B 模型添加了 FP8 支持
club-3090 项目已为 Qwen3.6-27B 模型引入了实验性 FP8 量化支持。此新功能对于使用双 RTX 3090 显卡的用户尤其重要。据报道，FP8 量化模型的性能与原始未量化的 BF16 版本几乎相同。
-
DeepSeek V4 基准测试显示 524k 上下文达到 85 token/秒；Ollama Ryzen APU 指南发布
新的基准测试显示，DeepSeek V4 Flash 在双 RTX PRO 6000 Max-Q GPU 上利用 MTP 自我推测和 FP8 量化，实现了 524k 上下文窗口的每秒 85 token 的性能。此外，一份关于在 Ryzen APU 上使用 DeepSeek 模型设置 Ollama 的指南已发布，使没有独立显卡的用户也能更方便地进行本地大模型推理。修改后的 llama.cpp 存储库现已支持 DeepSeek V4 Pr…