研究人员开发了 EdgeKernelBench,一个用于在各种边缘设备上评估 LLM 生成内核的框架,以及 LEKA,一个分层优化代理。虽然 LLM 可以在服务器 GPU 上生成性能良好的内核,但由于硬件异构性和严格的资源限制,边缘部署带来了独特的挑战。EdgeKernelBench 使用统一的中间表示和分层基准来评估 LLM 生成的内核,揭示了功能正确性与实际性能之间存在显著差距。LEKA 旨在通过分层 IR 组织优化来弥合这一差距,在其评估子集上实现了 43.5% 的 [email protected] 分数,而直接生成为 13.0%,Claude Code 为 26.1%。 AI
影响 这项研究可以提高部署在资源受限的边缘设备上的 AI 模型的效率和性能。
排序理由 介绍 LLM 内核生成新基准和代理的论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →