PulseAugur
实时 11:58:04
English(EN) KAIST researchers put the first hard number on AI agent energy cost. A 70B-parameter agent uses 136.5x the energy of a chatbot query, with GPUs idle 54.5 percen

AI 代理的能源成本已量化:70B 模型消耗的能源是聊天机器人的 136 倍

KAIST 的研究人员量化了 AI 代理的能源消耗,发现一个拥有 700 亿参数的代理消耗的能源是标准聊天机器人查询的 136.5 倍。这种巨大的能源需求,加上 GPU 在执行时间有一半以上处于空闲状态,预计未来数据中心的能源需求将相当于美国目前总电力消耗的一半。这些发现凸显了 AI 行业内对数据中心效率日益增长的关注,将竞争格局从传统的模型性能基准转移开。 AI

影响 凸显了 AI 代理巨大的能源和基础设施需求,可能将行业重点转移到效率和可持续性上。

排序理由 量化 AI 代理能源成本的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 Mastodon — fosstodon.org 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

AI 代理的能源成本已量化:70B 模型消耗的能源是聊天机器人的 136 倍

报道来源 [1]

  1. Mastodon — fosstodon.org TIER_1 English(EN) · [email protected] ·

    KAIST 研究人员首次量化 AI 代理的能耗。一个 70B 参数代理的能耗是聊天机器人查询的 136.5 倍,GPU 空闲率为 54.5%

    KAIST researchers put the first hard number on AI agent energy cost. A 70B-parameter agent uses 136.5x the energy of a chatbot query, with GPUs idle 54.5 percent of execution time. At agent scale, projected data center demand reaches 198.9 gigawatts, equivalent to half of US powe…