新型轻量级检测 Transformer 实现全整型推理

研究人员开发了 I-LW-DETR，这是一种新型轻量级检测 Transformer，可实现全整型推理。这对于在 NPU 和微控制器上部署此类模型来说是一个重大进展，因为这些设备传统上难以处理 Transformer 中常见的浮点运算。该系统包含一个保持比例的分割卷积、一个依赖符号的 GELU 近似（SD-ShiftGELU）和一个约束的 Shiftmax 函数，以确保包括非线性在内的所有运算都使用整数算术执行。这种方法使得模型尺寸减小约 3.6 倍，计算效率提高十倍以上，同时准确性仅有适度下降。 AI

影响 支持在 NPU 和微控制器等资源受限设备上部署先进的视觉 Transformer。

排序理由 这是一篇详细介绍模型推理新技术的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

• CNNS
• Gelu
• I-LW-DETR
• LayerNorm
• National Pingtung University of Science and Technology
• SD-ShiftGELU
• Shiftmax
• Softmax

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →