一位Reddit用户正在寻求关于如何最好地利用两台PC来运行大型语言模型的建议,特别是关注如何池化它们的资源。该用户有一台PC,配备94GB RAM和两块GPU(一块5070 TI和一块12GB的3060),以及第二台PC,配备64GB RAM。他们正在考虑通过以太网连接这两台PC,并使用llama.cpp的RPC功能来合并它们的处理能力,或者是否将GPU保留在主PC上,而将第二台PC仅用于额外的RAM会更有效。 AI
排序理由 这是一个关于运行LLM硬件配置的论坛用户查询,不是新闻事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →