ZonoGPT

新的ZonoGPT方法验证了像GPT-2 Medium这样的大型Transformer模型

研究人员开发了ZonoGPT，这是一个专为验证大型Transformer模型设计的新抽象域。该方法保持了与网络深度无关的空间复杂度，并使用特定块的融合变换（用于Attention和LayerNorm）来保留特征关系。ZonoGPT是首个能够验证标准Transformer架构的方法，已成功扩展到HuggingFace模型，如拥有超过3亿参数的GPT-2 Medium，并在文本和视觉任务中验证了1,339个实例。