新的基准测试在真实的AI框架内核生成方面测试LLM

研究人员推出了RealisticTritonBench，这是一个旨在评估大型语言模型（LLM）为AI框架生成Triton内核能力的新基准测试。该基准测试通过从流行的AI框架的实际拉取请求中提取任务，而不是仅仅关注PyTorch翻译，来解决先前评估的局限性。它评估框架内的端到端性能，并使用完整、可复现的评估环境，这与依赖可能存在缺陷的手动脚本对单个内核进行评估的先前基准测试不同。初步评估表明，当前领先的LLM在这些更真实的Triton内核生成任务方面仍然面临挑战。 AI

影响 该基准测试旨在提高LLM在生成AI框架关键组件方面的能力，从而可能加速AI系统的开发和优化。

排序理由 该集群描述了一个用于评估AI模型的新基准测试，该基准测试在一篇学术论文中提出。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• AI frameworks
• CUDA
• GPU kernels
• large language models
• PyTorch
• RealisticTritonBench
• Triton

• 论文
• 产品

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →