Critical Weight Protection

新技术在量化大语言模型中保持公平性和安全性

一篇新的研究论文探讨了量化对大语言模型（LLMs）公平性和安全性的影响。研究发现，静态和动态量化方法都会持续损害公平性和安全性，其中动态方法表现出更强的稳定性。这种损害在非英语语言和安全关键型场景中尤为明显。为了应对这一问题，研究人员提出了“关键权重保护”技术，该技术在量化过程中保留关键权重，以减轻偏见和安全问题，而无需昂贵的重新训练，从而保持了模型的可靠性和效率。