Together AI 宣布了其新的推理优化框架 Together Compiler,旨在提高 AI 模型性能。最初,该公司开发了将整个模型前向传播融合到单个 GPU 内核中的“megakernels”,实现了高速度但难以投入生产。通过进一步的实验,Together AI 发现通过利用 CUDA Graphs 和 Torch Inductor 等现有工具,他们可以在不编写自定义内核的情况下恢复大部分 megakernel 性能,甚至通过其新编译器超越之前的速度。 AI
影响 Together AI 的新编译器旨在优化推理性能,可能导致更快、更高效的 AI 模型部署。
排序理由 该集群描述了来自一家 AI 公司的新产品/框架发布,但不是前沿模型发布或重大的行业范围事件。
在 X — Together (inference / OSS) 阅读 →
- CUDA Graphs
- FlashAttention
- Nvidia
- NVIDIA H100
- PyTorch
- ThunderKittens
- Together AI
- Together Compiler
- Torch Inductor
- Megakernels
- X
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →