Dedicated Container Inference

Together AI 提升自定义模型推理速度，优化开源大模型

Together AI 推出了名为 Dedicated Container Inference 的新服务，旨在优化自定义生成媒体模型的部署和性能。该平台处理自动扩展、排队和流量隔离等复杂的编排任务，使团队能够专注于模型逻辑。该服务已展现出显著的推理速度提升，部分客户的性能提升高达 2.6 倍。此外，Together AI 还宣布了其推理平台的进步，通过利用下一代 GPU 硬件和优化的内核，为顶级开源模型实现了高达 2 倍的服务器无服务器推理速度。