Vasu Raj Jain

AI基础设施从训练转向以推理为中心的模型

根据Amazon Ads的Vasu Raj Jain的说法，AI基础设施格局正从以训练为中心的模型转向以推理为主导的模型。虽然公司以前专注于为训练购买GPU，但日益增长的实时推理需求需要不同的方法。与训练的固定、批处理性质不同，推理工作负载是连续的、不可预测的，并且需要全球分发和异构模型支持。将推理视为一等生产服务，具备专门的运营严谨性、独特的架构和专门的组织所有权，对于成功至关重要。