研究人员开发了TraceDSE，一种新颖的智能体设计空间探索流程，用于优化异构边缘片上系统（SoC）上的AI推理工作负载。该方法联合将工作负载映射到处理单元（PUs）并对其进行配置，解决了组合复杂性导致穷举搜索不可行的难题。与依赖有限反馈的先前方法不同，TraceDSE利用更丰富的系统执行跟踪，使LLM proposer能够生成候选，并使LLM critic能够分析跟踪中的瓶颈并提出改进建议。这个迭代过程显著提高了决策质量和搜索有效性，在超体积改进方面比最先进的黑盒优化工具高出68%，同时需要更少的硬件评估。 AI
影响 这项研究通过优化硬件配置和工作负载映射，有望实现更高效的边缘设备AI部署。
排序理由 该项目是一篇研究论文，详细介绍了一种优化AI推理工作负载的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
- AI inference workloads
- Bayesian optimization
- Geetha Prasuna Yarramneni
- Heterogeneous Edge SoCs
- Intel Meteor Lake SoC
- LLM
- TraceDSE
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
