AI SSD

AI基础设施演进，整合存储以支持LLM推理

AI基础设施的格局正从仅关注GPU计算转向更一体化的方法，涉及计算、网络、内存和存储。这种演变是由具有长上下文和复杂推理能力的大型语言模型（LLMs）的需求驱动的，其中KV缓存和MoE专家权重等数据的有效管理变得至关重要。Moonshot AI及其Mooncake系统和NVIDIA及其CMX平台等公司正在引领这一趋势，将推理状态视为一等资源，并优化存储以实时参与token生成。