研究人员开发了CriticNPU,一个新颖的框架,旨在提高神经网络处理单元(NPU)设计空间探索的效率,以支持大型语言模型(LLM)推理。传统方法依赖于提供有限反馈的慢速模拟器,这阻碍了优化过程,尤其是在工作负载受限于计算吞吐量或高带宽内存等不同资源时。CriticNPU利用在线校准的机制化批评者,在模拟前后估计性能并预测参数变化,显著减少了所需的模拟器调用次数。该方法已展示出强大的性能,在使用现有方法约一半的模拟资源的情况下,在测试配置的高百分比中实现了最佳或接近最佳的延迟。 AI
影响 优化LLM推理的硬件设计,可能带来更快、更节能的AI加速器。
排序理由 详细介绍NPU设计空间探索新框架的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →