UCI AI4I 2020

轻量级Transformer模型用于设备端故障检测的基准测试

一项新的基准研究将轻量级Transformer模型与传统的机器学习方法进行了比较，用于设备端故障检测。研究发现，虽然Transformer在某些数据集上的准确率可以与传统方法相媲美，但它们的体积和速度都明显更大。TinyBERT-4L被确定为最适合部署的Transformer模型，而INT8量化在减少模型大小的同时对性能损失很小。研究还强调了处理严重不平衡数据集的挑战，表明当前方法在这些场景下存在局限性。