Hazy Research

Kog 的新引擎提升现有 GPU 的 AI 推理速度 · 已追踪 4 个来源

法国初创公司 Kog 开发了一款新的推理引擎，旨在显著加速现有数据中心 GPU（如 AMD MI300X 和 NVIDIA H200）上的 AI 模型性能。该公司的软件驱动方法旨在通过优化推理速度来绕过昂贵新硬件的需求，而推理速度已成为许多 AI 应用的关键瓶颈。Kog 的技术已引起了极大的商业兴趣，特别是来自软件工程等领域对当前 AI 延迟感到沮丧的专业用户。