一台2014年的Xeon平台电脑,配备128GB DDR3内存和两块GPU(RTX 4070和RTX 3060),与两台搭载M5 Max和M5 Ultra芯片的Apple Mac Studio进行了测试。尽管Macs价格昂贵得多,但在运行大型语言模型方面,它们的速度是Xeon平台的两到四倍。不含GPU的整个Xeon平台价格为638欧元,而Macs的价格则高得多。 AI
影响 提供了在本地运行大型语言模型时硬件成本效益权衡的见解。
排序理由 该条目比较了运行LLM的硬件性能,提供了主观分析,而非新的发布或研究发现。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →