研究人员为FPGA开发了一种硬件瓦片,可以高效处理线性注意力语言模型的递归状态。该瓦片专为Agilex 5 FPGA上的3.69亿参数Gated DeltaNet模型设计,通过将其分页到外部内存来管理超出设备片上内存的递归状态。研究发现,此分页过程仅占每个token的解码时间的13%,表明其在边缘部署中的实用性。在该FPGA上该模型的性能瓶颈被确定为模型权重的传输,而非状态分页。 AI
影响 该研究展示了一种在内存有限的边缘设备上部署大语言模型的实用方法。
排序理由 这是一篇详细介绍语言模型新颖硬件实现的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →