实体
5GbE
5GbE
PulseAugur coverage of 5GbE — every cluster mentioning 5GbE across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
vLLM 基准测试显示其并发性和多链接性能优于 llama.cpp
作者对在家庭多 GPU 设置上运行大型语言模型的 vLLM 和 llama.cpp 进行了基准测试。vLLM 通过高效管理 KV 缓存和利用 NCCL 进行 GPU 通信，在处理高并发方面表现出卓越的性能，优于在处理多个并发请求时遇到困难的 llama.cpp。测试还表明，结合多个网络链接可以显著提高性能，尤其是在处理更长上下文时，并且混合专家（MoE）模型通常比密集模型提供更好的吞吐量和更高的上下文上限。
-
Thunderbolt 5 连接问题困扰 Llama.cpp RPC 基准测试
一位用户详细介绍了他们使用两台机器通过 RPC 运行 Llama 模型进行基准测试的经验，重点关注不同网络链路的性能差异。用户遇到了 Thunderbolt 5 连接的重大问题，发现它在基于 DMA 的传输方面不可靠，最终选择了 USB 10Gbps 连接。基准测试显示，在延迟和吞吐量方面，Thunderbolt 5 的性能不如标准的 5GbE 连接，而 USB 10Gbps 的性能略好，但存在一些特定模型的例外情况。测试涉及六种不同…