patch-based transformer

Lyapunov 引导训练增强硬件安全神经网络

研究人员开发了一种新的神经网络训练方法，该方法特别适用于使用定点算术的硬件部署。这种方法被称为 Lyapunov 引导训练，通过使用 Lyapunov 函数监控隐藏状态能量并应用单调投影来解决低精度网络中的激活溢出问题。在使用基于块的 Transformer 在 MNIST 数据集上进行的评估表明，该技术显著抑制了溢出率，并实现了稳定的学习，在 12 位精度下达到了 86.55% 的准确率。