p-Spin Glass Network

p-Spin Glass Network 实现高效单批次持续学习

研究人员开发了一种名为 p-Spin Glass Network 的新型神经网络架构，旨在解决当前序列模型的记忆和样本效率限制。该架构通过原生的三元量化实现显著的内存压缩并限制激活内存，使其能够以八倍少的训练序列匹配 Transformer 模型的性能。此外，p-Spin Glass Network 即使在微批次大小为一时也能实现稳定的单批次学习和单调收敛，在不同数据类型上均有效，为持续学习和边缘 AI 应用铺平了道路。