Together AI 发布了基准测试,展示了其推理堆栈在 NVIDIA Blackwell 硬件上的性能,与其它开源引擎相比,每秒交易量提高了 31%。这种性能提升归功于为 Blackwell 的 Tensor Cores 优化的自定义内核。Cursor 使用的公司编码代理运行在此基础设施上,Together AI 还推出了 AgentPerf,一个用于评估 AI 代理性能的新基准。 AI
影响 展示了 AI 代理基础设施的硬件优化,可能提高实时编码代理的性能。
排序理由 该集群详细介绍了 AI 推理基础设施的基准测试和性能指标,属于研究范畴。
在 X — Together (inference / OSS) 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →