Arch Rao

AI推理需求超过训练需求，需要新的电力基础设施

人工智能行业的重点是训练基础设施，特别是大型GPU集群，但随着到2030年推理工作负载预计将显著超过训练负载，这种关注变得不完整。SPAN首席执行官Arch Rao认为，由于推理工作负载对延迟敏感且可分布式，因此需要不同的基础设施方法。他强调，当前的电力输送网络并未设计来满足这种日益增长的需求，从而造成了一个“电力问题”，需要重新构想系统，而不仅仅是能源生产。