研究人员开发了一种名为置换不变性启用选择性(PIES)保护的新方法,以增强二值Transformer的可靠性,特别是在使用近似内存时。该技术利用双向Transformer编码器表示(BERT)作为案例研究,解决了二值Transformer中由于内存中的比特错误导致的准确性损失问题。PIES通过利用Transformer架构固有的置换不变性来选择性地保护关键权重,与传统的纠错方法相比,以较低的开销实现了显著的性能恢复。这一进步使得在具有近似内存和激进电压缩放的资源受限的边缘设备上部署二值Transformer成为可能。 AI
影响 能够更可靠、更节能地在边缘设备上部署Transformer模型。
排序理由 详细介绍一种提高模型可靠性新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- BERT
- Bidirectional Encoder Representations from Transformers
- GitHub
- Hugging Face
- Permutation Invariance Enabled Selective
- PIES
- transformers
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →