研究人员开发了用于Transformer模型在边缘设备上运行的、硬件高效的Softmax和Layer Normalization的近似方法。这些方法确保了保证归一化，这对于边缘NLP和生成式AI应用中以得分为导向的任务至关重要。所提出的架构采用Verilog HDL实现，并在28nm CMOS工艺上合成，与现有解决方案相比，其精度下降极小，面积也显著减小。 AI
影响 能够将先进的NLP和生成式AI模型更有效地部署到资源受限的边缘设备上。
排序理由 提出AI运算新硬件架构的学术论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
arXiv:2604.23647v1 Announce Type: cross Abstract: In Transformer models, non-GEMM (non-General Matrix Multiplication) operations -- especially Softmax and Layer Normalization (LayerNorm) -- often dominate hardware cost due to their nonlinear nature. To address this, previous appr…