Together 推出了其下一代推理平台，旨在帮助用户在生产环境中运行开源模型，并提供增强的控制和安全性。该平台允许在不影响用户的情况下对实时流量进行更改测试，通过单个端点切换模型，并根据 TTFT 和延迟等实时信号进行自动扩展。此次更新基于 Together 每月处理超过 400 万亿个 token 的经验。 AI
影响 增强了开源 AI 模型的生产部署和测试能力。
排序理由 推理平台的产品发布，而非前沿模型发布。
在 X — Together (inference / OSS) 阅读 →
AI 生成摘要 · Google Gemini · 来自 4 个来源。 我们如何撰写摘要 →
Try it yourself: https://t.co/2ilKtqodxX
Blog: https://t.co/M2swebEtKW Webinar (Aug 6): https://t.co/ote2Bgw5xU
What's new: -> Test on real traffic, zero user impact -> Swap models behind one stable endpoint -> Autoscale on real signals: TTFT, latency, throughput -> Pre-optimized deployment profiles
The next generation of our inference platform is here, shaped by what we've learned serving over 400 trillion tokens a month. Run open models in production with full control, and test every change on live traffic before users see it. https://t.co/5bIT1y7BOP