一位用户分享了为运行大型语言模型而定制的服务器硬件的遥测数据。该配置配备了四块NVIDIA Tesla P100 GPU,总显存为64GB,其中58.7GB用于运行。通过Strata框架运行1200亿参数的Qwen3.8模型时,该配置实现了33.4 tokens/秒的输出生成速度和47 tokens/秒的提示预填充速度。系统运行效率高,温度保持在72°C,功耗仅为170W。 AI
影响 展示了在本地运行大型语言模型的硬件利用效率。
排序理由 用户生成的关于运行LLM的定制硬件配置的遥测数据。
在 Mastodon — fosstodon.org 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →