新的RED-PIM技术通过内存内处理大幅降低Transformer延迟

研究人员开发了RED-PIM，这是一种旨在提高Transformer模型效率的新型算法-架构协同设计。该方法通过在内存内部执行计算（一种称为内存内处理（PIM）的技术）来解决Transformer中显著的数据移动瓶颈。RED-PIM专门针对注意力操作，减少了银行间数据移动，并缩小了中间矩阵，以最小化延迟和计算成本。该系统在较长序列上实现了高达99.99%的推理时间缩减，并在保持准确性的同时，在真实数据集上实现了显著的性能提升。 AI

影响 降低了Transformer推理的计算成本和互连流量，有可能加速其在数据密集型AI应用中的采用。

排序理由 该项目是一篇研究论文，详细介绍了用于提高Transformer效率的新算法-架构协同设计。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• Connected Papers
• DagsHub
• Hugging Face
• Litmaps
• Processing in memory
• RED-PIM
• scite Smart Citations
• transformers
• Zahra Yousefijamarani

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →