RPC Cluster

经济型 LLM 基准测试：通过 RPC 连接消费级 GPU

一个个人项目在利用消费级 GPU 和 RPC 进行模型层分布的两台机器集群上对六个开源 LLM 进行了基准测试。该设置旨在为无法负担专业级硬件的预算有限的用户提供一种经济高效的解决方案。作者详细介绍了硬件配置，包括网络带宽和 VRAM 限制，并讨论了在张量分割顺序以及 Llama 3.3 等密集模型与 Qwen3.6 等 MoE 模型之间的模型架构差异方面遇到的挑战。