Together 推出了 Together Compiler,这是一款旨在自动优化 AI 模型推理内核的新工具。该系统利用代理来适应特定的模型、硬件和流量模式。早期结果表明性能有显著提升,中位数吞吐量增加了 12-20%,客户的响应时间缩短了近一半。 AI
影响 通过自动化性能调优,该工具可以显著降低 AI 部署的推理成本和延迟。
排序理由 AI 基础设施优化工具的产品发布。
在 X — Together (inference / OSS) 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →