PulseAugur
实时 16:42:04
English(EN) This is a really good document. I suppose there are many ways to interpret it, yet, what strikes me is the fact that one needs at least 2xDGX Spark, with 128GB

AI模型硬件需求被批评为浪费,同时存在过时技术说法

一份最新文件强调了运行大型AI模型所需的显著硬件要求,指出运行一个27B参数模型需要两套配备大量内存的DGX Spark系统才能达到每秒20个token。这被视为一种浪费,可能源于供应商竞争不足。这种情况通过专家意见得到了进一步的阐释,例如Yann LeCun的观点,他认为当前的GPT技术可能已经过时。 AI

影响 突显了运行先进AI模型相关的巨大且可能低效的硬件成本,对当前技术发展轨迹提出质疑。

排序理由 该集群包含对硬件需求和AI技术的专家意见的评论,而非新的发布或重要的行业事件。

在 Mastodon — mastodon.social 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

AI模型硬件需求被批评为浪费,同时存在过时技术说法

报道来源 [1]

  1. Mastodon — mastodon.social TIER_1 English(EN) · silentexception ·

    这是一份非常好的文件。我猜想有很多种解读方式,然而,令我印象深刻的是,至少需要2xDGX Spark,配备128GB

    This is a really good document. I suppose there are many ways to interpret it, yet, what strikes me is the fact that one needs at least 2xDGX Spark, with 128GB of LPDDR5x memory each, to run just a 27B model (hopefully not quantized) at 20 toks/s. It's so wasteful. Perhaps, this …