DeepSeek 已开源其推理框架 DeepInfer 以及 FlashMLA 算子库。此举旨在提高国产大模型在硬件上的性能。值得注意的是,一个名为 ForgeKernel 的 AI 生成算子库,在没有人工逐行调优的情况下,已经超越了人工优化的算子。ForgeKernel 在 NVIDIA 的 SOL-ExecBench FlashInfer-Bench 和华为的 CANNBench A3 上均取得了最高排名,展示了显著的性能提升。 AI
影响 AI 驱动的核心计算组件优化可能会显著加速模型性能并降低整个行业的推理成本。
排序理由 AI 生成的算子库在基准测试中取得了超越人工优化版本的性能。[lever_c_demoted from research: ic=1 ai=1.0]
- CANNBench A3
- DeepInfer: Open-Source Deep Learning Deployment Toolkit for Image-Guided Therapy
- DeepSeek
- DeepSeek V4.1 Flash
- FlashMLA
- ForgeKernel
- SOL-ExecBench FlashInfer-Bench
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →