Morefine G1 4090M

用户探索用于 eGPU LLM 性能的混合模型拆分

一位 Reddit r/LocalLLaMA 社区的用户正在探索在通过 Thunderbolt 3 连接的多个 eGPU 上运行大型语言模型的性能优化。他们正在尝试不同的模型拆分技术，特别是层拆分与张量拆分，以最大化预填充和解码阶段的吞吐量。该用户正在研究混合拆分的理论可能性，该拆分可以利用每种方法的优势来克服其 TB3 设置固有的带宽限制。