研究人员开发了Tempus，一个旨在优化AMD Versal SoC上边缘AI部署的通用矩阵乘法（GEMM）的新框架。与在资源受限设备上失败的现有空间扩展方法不同，Tempus使用固定的计算块和通过迭代执行及数据分块实现的时间扩展。这种方法取得了显著的性能提升，在10.677W功耗下实现了607 GOPS，同时与先前最先进的方法相比，在资源和功耗节约方面表现更优。 AI
影响 通过优化核心矩阵乘法运算，使资源受限的边缘设备上能够进行更高效的LLM推理。
排序理由 学术论文，详细介绍了用于优化边缘硬件上AI推理的新框架。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2605.00536v1 Announce Type: cross Abstract: Scaling laws for Large Language Models (LLMs) establish that model quality improves with computational scale, yet edge deployment imposes strict constraints on compute, memory, and power. Since General Matrix Multiplication (GEMM)…
Scaling laws for Large Language Models (LLMs) establish that model quality improves with computational scale, yet edge deployment imposes strict constraints on compute, memory, and power. Since General Matrix Multiplication (GEMM) accounts for up to 90\% of inference time, effici…