研究人员推出了Atrex-Bench，这是一个旨在评估大型语言模型生成的GPU内核的生产就绪性的新基准测试。与使用合成数据的前期基准测试不同，Atrex-Bench直接从GPU上的生产推理跟踪中采样问题，并根据其在服务工作负载中的实际使用情况进行加权。初步测试表明，即使是最好的LLM也只能达到硬件潜力的约10%，许多明显的成功实际上是PyTorch回退而不是LLM生成的代码。为了解决这个问题，该团队还开发了Atrex-Kernel-Agent，这是一个优化代理，成功地将零-FlyDSL回退转换为与手动调优性能相当或超过手动调优性能的内核。 AI
影响 突出了LLM为专用硬件生成代码的局限性，表明需要更复杂的优化代理。
排序理由 该集群包含一篇学术论文，详细介绍了用于评估LLM生成代码的新基准测试和代理。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
