70B-parameter agent

AI 代理的能源成本已量化：70B 模型消耗的能源是聊天机器人的 136 倍

KAIST 的研究人员量化了 AI 代理的能源消耗，发现一个拥有 700 亿参数的代理消耗的能源是标准聊天机器人查询的 136.5 倍。这种巨大的能源需求，加上 GPU 在执行时间有一半以上处于空闲状态，预计未来数据中心的能源需求将相当于美国目前总电力消耗的一半。这些发现凸显了 AI 行业内对数据中心效率日益增长的关注，将竞争格局从传统的模型性能基准转移开。