PulseAugur
实时 20:10:33
English(EN) Are EPYC CCDs all you need + benchmarks

AMD EPYC CPU 本地 LLM 性能基准测试

一位 r/LocalLLaMA 用户分享了对两款 AMD EPYC 处理器(9135 和 9374f)运行本地大型语言模型的基准测试。9374f 拥有 8 个核心复杂芯片(CCDs),本应具有优势,但初步测试显示其解码性能并未优于 9135。然而,在使用 48 个线程时,9374f 在某些场景下表现出更优越的性能,尽管其游戏性能仍被认为较差。 AI

影响 硬件选择会显著影响运行本地 LLM 的性能和成本效益。

排序理由 用户生成的 AI 任务硬件基准测试。

在 r/LocalLLaMA 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

AMD EPYC CPU 本地 LLM 性能基准测试

报道来源 [1]

  1. r/LocalLLaMA TIER_1 English(EN) · /u/iVoider ·

    Are EPYC CCDs all you need + benchmarks

    <!-- SC_OFF --><div class="md"><p>Recently I've found a deal to buy 9374f for cheap to replace my bottle-necked 9135. 8 CCD looked delicious. But first benchmarks showed me no decoding advantage. Until I used 48 threads. Non 64 or 32, which gave even worse performance than 9135 i…