研究人员开发了 Chameleon,一个新颖的训练后量化(PTQ)框架,旨在优化内存受限硬件上的扩散模型。与固定数字格式的先前方法不同,Chameleon 为每个权重通道和激活层动态选择最佳格式,并可选择按时间步长桶进行选择。这种动态方法能够更好地编码扩散过程中变化的激活分布。在 SDXL、SDXL-Turbo 和 PixArt-α 等模型上的实验表明,与现有的量化方法相比,Chameleon 在保持接近 FP16 参考的保真度的同时,实现了更优的 FID 分数和更小的权重尺寸。 AI
影响 使得在资源受限的硬件上更有效地部署大型扩散模型成为可能,从而可能扩大其可及性和应用范围。
排序理由 这是一篇详细介绍优化 AI 模型新技术的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- Arnab Sanyal
- Chameleon
- COCO-2014
- FP4 E2M1
- FP8 E4M3
- FP8 E5M2
- INT4
- INT8
- MXFP4
- MXFP8
- MXINT4
- MXINT8
- Pixart
- SDXL
- SDXL-Turbo
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →