哥伦比亚大学和 CertiK 的研究人员开发了 TensorLean,这是一个形式化验证框架,旨在确保 PTX 级别 GPU 内核的正确性。这个基于 Lean 的系统将编译后的内核与张量级数学规范进行分析,旨在检测数据竞争、终止失败和输出不正确等问题。在测试中,TensorLean 成功验证了 149 个内核实例中的 83 个,并在多个项目中发现了 38 个错误,包括 FlashAttention 套件中的重大问题。 AI
影响 通过验证 GPU 内核来增强 AI 模型训练基础设施的可靠性和正确性。
排序理由 关于 GPU 内核新形式化验证框架的学术论文。[lever_c_demoted from research: ic=1 ai=0.7]
- Certik
- Columbia University
- cvc5
- DeepGEMM
- FlashAttention-2
- FlashAttention-3
- FlashAttention-4
- GPU
- Lean
- Nvidia B200
- NVIDIA H100
- PyTorch
- TensorLean
- Z3
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →