KastnerRG

Transformer 模型针对 AMD Versal AI 引擎上的喷注标记进行了优化

研究人员开发了一种方法，将 transformer 模型部署到 AMD Versal AI 引擎上进行喷注标记，这是大型强子对撞机触发系统的一个组成部分。该方法将模型量化为仅使用整数，并将密集层和多头注意力层映射到 AI 引擎块。该项目还包括一个可重用的软件框架，允许将 transformer 层表示为可组合的 AI 引擎构建块，并从 Python 描述自动生成 Vitis 图代码。该框架作为开源软件提供。