研究人员开发了一种方法,通过在Lean证明助手(Lean proof assistant)中对并行线程执行(PTX)进行建模,来形式化验证深度学习中使用的GPU内核的正确性。该方法能够对常见的GPU内核模式进行数学推理,包括获取-释放语义(acquire-release semantics)、张量核(tensor cores)和异步操作(asynchronous operations)。该团队成功地使用此框架证明了WGMMA GEMM内核、FlashAttention以及多内核专家混合(MoE)流水线的实现是正确的。 AI
影响 这种形式化验证方法可以提高GPU上深度学习计算的可靠性和效率。
排序理由 该条目描述了一种在论文中提出的GPU内核形式化验证方法。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
- deep learning
- FlashAttention
- graphics processing unit
- Innu-aimun
- Lean
- Parallel Thread Execution
- WGMMA GEMM kernel
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →