AI硬件行业正经历一场向“分离式推理”的重大转变，该策略将AI模型执行中计算密集型的提示处理（预填充）与延迟敏感的令牌生成（解码）阶段分开。这种专业化能够实现更高效的硬件利用率、降低每令牌成本并缩短响应时间。NVIDIA等公司正将其GPU与专门的解码加速器配对，而Cerebras等公司则与AMD和Amazon Web Services合作，通过不同的硬件组合实现类似目标。这种架构变化是由将AI从演示流量扩展到生产流量的经济现实所驱动的，因为不同的工作负载存在不同的瓶颈。 AI
影响 加速了AI硬件中硅专业化的趋势，可能降低推理成本并改善AI应用的响应时间。
排序理由 讨论了AI硬件基础设施的一次重大架构转变，对多家主要公司产生了影响。[lever_c_demoted from significant: ic=1 ai=0.7]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
