法国初创公司 Kog 开发了一款新的推理引擎,旨在显著加速现有数据中心 GPU(如 AMD MI300X 和 NVIDIA H200)上的 AI 模型性能。该公司的软件驱动方法旨在通过优化推理速度来绕过昂贵新硬件的需求,而推理速度已成为许多 AI 应用的关键瓶颈。Kog 的技术已引起了极大的商业兴趣,特别是来自软件工程等领域对当前 AI 延迟感到沮丧的专业用户。 AI
影响 加速现有硬件上的 AI 推理,可能降低专业用户的成本并提高可及性。
排序理由 初创公司正在开发现有硬件的软件优化,而非前沿模型发布或核心研究论文。
在 Mastodon — fosstodon.org 阅读 →
- AMD MI300X
- Anthropic
- Claude
- Claude Code
- CUDA
- Gaël Delalleau
- graphics processing unit
- Hazy Research
- Koggenland
- Kog Inference Engine
- Laneformer 2B
- NVIDIA
- NVIDIA H200
- Stanford University
- ZML
- AI inference
AI 生成摘要 · Google Gemini · 来自 6 个来源。 我们如何撰写摘要 →