实体
FP8 E4M3
FP8 E4M3
PulseAugur coverage of FP8 E4M3 — every cluster mentioning FP8 E4M3 across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
Chameleon 框架通过动态量化优化扩散模型
研究人员开发了 Chameleon,一个新颖的训练后量化(PTQ)框架,旨在优化内存受限硬件上的扩散模型。与固定数字格式的先前方法不同,Chameleon 为每个权重通道和激活层动态选择最佳格式,并可选择按时间步长桶进行选择。这种动态方法能够更好地编码扩散过程中变化的激活分布。在 SDXL、SDXL-Turbo 和 PixArt-α 等模型上的实验表明,与现有的量化方法相比,Chameleon 在保持接近 FP16 参考的保真度的同时…
-
新的 GAAC 技术为 LLM 推理提供无损 KV 压缩
研究人员开发了 GAAC,一种用于大型语言模型 (LLM) 中键值 (KV) 缓存的无损压缩技术。该方法利用指数冗余来减少存储并加速注意力机制,而无需近似 KV 值。GAAC 在 BF16 KV 缓存上实现了显著的压缩率,并在 NVIDIA DGX Spark 和 Apple M4 硬件上展示了性能提升,从而降低了个人设备上 LLM 推理的内存使用量并提高了吞吐量。
-
Ornith 35B模型通过MTP增强,实现更快的Agentic编码
一位开发者已将多令牌预测(MTP)集成到Ornith 35B模型中,从而增强了其在Agentic编码任务中的性能。据报道,此项修改将推理速度提高了18%,并达到了70%的草稿接受率。该优化模型利用FP8 E4M3量化,设计用于运行在拥有超过80GB VRAM的硬件上,并支持256k上下文窗口,可能应用于统一内存系统。