实体 LeaseWeb

LeaseWeb

PulseAugur coverage of LeaseWeb — every cluster mentioning LeaseWeb across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

0

90 天内 0

层级分布 · 90 天

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_19446 · May 6 · 13:58

AMD EPYC CPU 在 LLM 和 TTS 推理工作负载上表现出竞争力

Leaseweb 近期的一项分析对 AMD EPYC 9334 CPU 在大型语言模型 (LLM) 和文本转语音 (TTS) 推理工作负载上的性能进行了基准测试。研究表明，虽然 GPU 提供更高的吞吐量，但 CPU 可以是推理的经济高效且可预测的选择，尤其是在考虑延迟和每查询成本等因素时。基准测试突显了量化的影响，Q4 模型在 CPU 上的吞吐量明显优于 FP16，并且还与参考 Nvidia L4 GPU 比较了首次令牌时间 (TTF…