TrainingTwo1118

用户寻求运行快速 120B LLM 的最便宜硬件

r/LocalLLaMA subreddit 上的一位用户正在寻找最具成本效益的硬件配置，以在超过 10 个 token/秒的速度下运行一个 1200 亿参数的密集大型语言模型 (LLM)。用户需要此配置来为角色扮演游戏战役生成快速响应，理想情况下具有 64,000 token 的上下文窗口和量化模型精度 (Q5 或 Q6)。他们正在探索纯 CPU、纯 GPU 和混合推理设置的选项，并指出了基于 GPU 的解决方案对 VRAM 的显著要求。