Laguna M.1 225B

用户讨论在 192GB RAM 系统上运行大型语言模型

一位 Reddit 用户正在寻找可以在配备 192GB RAM 的系统上运行的大型语言模型推荐，并特别提到了他们对 Qwen3.5-397B 的积极体验。他们还对 llama.cpp 进行了自定义修改，以提高混合循环模型的性能，并希望修复工具调用和 KV 缓存的问题。用户对 GLM 4.7 357B、Deepseek V4 Flash 284B 和 Tencent Hy3 295B 等其他大型模型感兴趣，并询问社区他们的经验和比较。