LSQ

新的LEAN技术提高了神经网络的效率和容错能力

研究人员开发了一种名为LEAN（损失工程调制）的新技术，以提高神经网络的效率和容错能力。LEAN通过改变训练模型中权重敏感性分布来工作，有效地将权重从更敏感的类别转移到不太敏感的类别。这种调制在微调或训练的最后几个时期应用，显著降低了比特翻转错误对各种视觉模型准确性的影响，并对语言模型显示出前景。该方法在保持准确性的同时，能够大幅减少权重存储，并提高对数据损坏的抵抗力。