64 GB RAM

用户探索组合内存设置以在本地运行 LLM

Reddit 的 r/LocalLLaMA 子版块的一名用户正在寻求有关通过组合不同类型的内存来优化大型语言模型性能的建议。他们正在询问是否可以使用包含 16 GB VRAM、64 GB RAM 和用于卸载模型组件的 SSD 存储的设置。该用户已尝试使用 llama.cpp 和特定配置运行模型，但正在经历非常低的性能，每秒仅能达到 6 个 token，他们认为这无法使用。