研究人员开发了一个新颖的多代理系统,能够自主设计符合硬件的计算系统,解决了当前AI代理的物理接地限制。该系统利用演化知识图谱来指导其搜索,将其从随机探索转变为结构化演化。该引擎成功演化出两种新的硬件感知压缩方法,Q-Enhance 和 MoE-Salient-AQ,在特定场景下优于现有的人工工程启发式方法。值得注意的是,一个拥有2350亿参数的大模型被部署在一个内存受限的双A100服务器上,内存显著减少且准确性损失极小,展示了一种新的硬件-软件协同设计范式。 AI
影响 为硬件-软件协同设计建立了一种新范式,有可能加速大型模型在受限硬件上的部署。
排序理由 这是一篇详细介绍新方法及其实验结果的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 arXiv cs.MA (Multiagent) 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →