ShatterQuant

ShatterQuant为Transformer硬件实现块状混合精度

研究人员开发了ShatterQuant，一种用于神经网络混合精度量化的新颖框架，它允许在单个张量内的不同块分配独立的比特宽度。该方法与专为Transformer设计的定制硬件加速器集成，从而能够更精细地控制精度和计算效率。与现有方法相比，该系统在TOPS、面积效率和能效方面均有显著提升，同时在图像识别和生成任务上保持了可比的准确性。