实体
LeaseWeb
LeaseWeb
PulseAugur coverage of LeaseWeb — every cluster mentioning LeaseWeb across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
Leaseweb 建议：大多数 AI 推理任务 4-8 块 GPU 足矣
对于大多数 AI 推理工作负载而言，4 到 8 块专用 GPU 已足够，与过度配置的云资源相比，可提供更好的性能和成本效益。此配置非常适合需要持续低延迟处理的 AI 驱动的搜索平台和媒体分析。专用裸金属服务器可提供可预测的性能，并能满足欧盟数据驻留要求，且可在单台服务器上实现从 4 到 8 块 GPU 的扩展。
-
AMD EPYC CPU 在 LLM 和 TTS 推理工作负载上表现出竞争力
Leaseweb 近期的一项分析对 AMD EPYC 9334 CPU 在大型语言模型 (LLM) 和文本转语音 (TTS) 推理工作负载上的性能进行了基准测试。研究表明，虽然 GPU 提供更高的吞吐量，但 CPU 可以是推理的经济高效且可预测的选择，尤其是在考虑延迟和每查询成本等因素时。基准测试突显了量化的影响，Q4 模型在 CPU 上的吞吐量明显优于 FP16，并且还与参考 Nvidia L4 GPU 比较了首次令牌时间 (TTF…