研究人员推出了RealisticTritonBench，这是一个旨在评估大型语言模型（LLM）为AI框架生成Triton内核能力的新基准测试。与之前的基准测试不同，RealisticTritonBench的任务来源于流行的开源AI框架中的真实拉取请求（pull requests），提供了对内核生成更现实的评估。该基准测试将生成的内核集成到其原始框架中，并使用端到端测试对其进行评估，解决了先前工作仅关注单个内核性能和手动评估脚本的局限性。初步评估表明，当前领先的LLM在这些复杂的、真实的Triton内核生成任务方面仍然面临挑战。 AI
影响 该基准测试旨在提高LLM生成复杂GPU内核的能力，从而可能加速AI框架的开发和性能提升。
排序理由 该集群描述了一篇学术论文中发布的新基准测试。
在 Hugging Face Daily Papers 阅读 →
- AI frameworks
- CUDA
- GPU kernels
- large language models
- PyTorch
- RealisticTritonBench
- Triton
- Hugging Face
- LLMs
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
