据报道，拥有 744B 参数的混合专家（MoE）模型 GLM-5.2 可以在消费级硬件上运行。一位用户分享说，它可以在大约 25 GB RAM 的机器上运行，而另一位用户详细介绍了其在配备 48 GB RAM 的 MacBook Pro M5 上的性能，速度在每秒 2 到 2.8 个 token 之间。这一进展表明在本地运行大型语言模型的可用性有所提高。 AI
影响 使得在个人设备上更广泛地访问和试验大型语言模型成为可能。
排序理由 用户报告的大型语言模型在消费级硬件上的性能和可用性。
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →
https:// github.com/JustVugg/colibri it is possible to run GLM-5.2 (744B-parameter MoE) on a consumer machine with ~25 GB of RAM # ai # optimization # development
<table> <tr><td> <a href="https://www.reddit.com/r/LocalLLaMA/comments/1uvlhxl/glm_52_running_on_macbook_pro_m5_48_gb_ram_at/"> <img alt="GLM 5.2 running on MacBook Pro M5 48 GB Ram at between 2 - 2.8t/s" src="https://preview.redd.it/td1ow57rs1dh1.png?width=140&height=140&…
<table> <tr><td> <a href="https://www.reddit.com/r/singularity/comments/1uwkzw6/colibri_handson_running_glm_52_744b_locally/"> <img alt="Colibri Hands-on: Running GLM 5.2 (744B) Locally without GPU" src="https://external-preview.redd.it/Y0H_QLEtOIIHrOWWBGDmNqivzH9PMwW73Z1CxN49qSI…