AMD MI355x硬件的一项新提交显示,在总拥有成本(TCO)的输出总token数方面,其性能优于B300,尤其是在AgentX框架内的低交互性范围内。SemiAnalysis强调了这一成就,并特别表彰了vLLM、AMD和LMCache的工程团队所做的贡献。高吞吐量配置中使用的分离式设置被认为是实现这一性能提升的关键因素。 AI
影响 硬件效率的这一进步可能导致更具成本效益的AI模型部署和训练。
排序理由 该集群报告了一项新硬件提交的基准性能与竞争对手的对比,这构成了一个研究里程碑。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →