Together AI 发布了并行内核构建器 (PKB)，这是一个旨在优化大型语言模型推理性能的开源工具。PKB 可以识别并生成新颖的内核，例如用于 NeMo 词汇并行 log-probs 和 Hyena 上下文并行的内核，这些内核并未公开文档化。该工具已展示出显著的加速效果，其中一个内核的性能从标准的 320.6µs 提升至 87.9µs，并且该项目鼓励社区贡献。 AI
影响 优化 LLM 推理性能，可能带来更快、更高效的 AI 部署。
排序理由 发布用于优化 LLM 推理的开源工具。
在 X — Together (inference / OSS) 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
