Adaptive Layer Normalization

Sakana AI 的 DiffusionBlocks 通过独立训练网络块来减少训练内存

Sakana AI 推出了 DiffusionBlocks，一个用于更高效地训练神经网络的新颖框架。该方法将网络划分为多个块，允许每个块独立训练。通过减少同时处理的层数，DiffusionBlocks 在不牺牲各种架构性能的情况下，显著降低了训练期间的内存需求。该方法利用了残差网络和扩散模型之间的联系，将残差连接视为离散的去噪步骤。