研究人员开发了 CAMP,这是一种新颖的算法,旨在优化大型语言模型 (LLM) 权重在 3D-内存计算 (3D-IMC) 阵列上的放置。该方法通过分析基于架构、网络和运行时上下文的潜在资源争用,解决了最大化并发计算的挑战。通过采用由性能分析驱动的反馈循环,CAMP 将 3D-IMC 的计算利用率从 42.4% 提高到 60.3%,从而显著提高了整体吞吐量。 AI
影响 优化 LLM 推理效率,可能降低 AI 应用的延迟和能耗。
排序理由 该集群描述了在 arXiv 研究论文中提出的一种新算法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →