English(EN) Inference Is the New Oil: Who Controls the Pipe

AI推理工作负载超过训练，重塑硬件和基础设施

作者 PulseAugur 编辑部 · [1 个来源] · 2026-07-08 09:23

推理已超过训练成为主要的AI计算工作负载，目前三分之二的AI计算用于服务实时请求。这一转变正在改变硬件设计重点，从原始训练吞吐量转向推理效率，正如DeepSeek等公司开发专用芯片所见。所谓的GPU短缺也被重新解读为分发和路由问题，而非原始硅的缺乏，RENDER等项目旨在利用闲置的计算能力。 AI

影响这一转变需要重新评估AI基础设施投资，优先考虑推理效率和智能路由，而非原始训练吞吐量。

排序理由文章讨论了AI计算工作负载的重大转变及其对硬件和基础设施投资的影响，引用了市场数据和公司战略。[lever_c_demoted from significant: ic=1 ai=0.7]

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

dev.to — LLM tag TIER_1 English(EN) · AntSeed · 2026-07-08 09:23

Inference Is the New Oil: Who Controls the Pipe

<p>Inference Is the New Oil- And Most of It Is Sitting Idle<br /> Two-thirds of all AI compute is now inference. Not training. Not research. Serving requests, in production, right now.</p> <p>That single number — flagged by hardware analyst Derek Colley when comparing Trainium3 a…