JustVugg
PulseAugur coverage of JustVugg — every cluster mentioning JustVugg across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
Lumabri 支持 P2P MoE 模型执行；Google Meet 新增线下会议转录功能
Lumabri 是一个新开源项目，允许用户使用 Colibri 协议在点对点网络上运行专家混合（MoE）模型。该项目由 JustVugg 开发，旨在实现 AI 模型执行的去中心化。另外，Google Meet 推出了允许转录线下会议的功能，将口头对话转化为书面笔记。
-
Colibri 引擎可在 25GB RAM 机器上运行大型 LLM
Colibri 是一款新推出的开源 AI 引擎，旨在让用户在仅需 25GB RAM 的消费级硬件上运行大型语言模型，例如 GLM-5.2（一个 744B 参数的混合专家模型）。Colibri 完全用 C 语言编写，没有任何依赖项，通过从磁盘流式传输模型专家来实现这一目标。这项创新使得计算资源有限的用户也能更方便地使用强大的 LLM。
-
Colibri 项目通过磁盘流式传输实现在消费级硬件上运行 744B 参数模型
Colibri 项目开发了一种新颖的磁盘流式传输技术，可以在内存有限的消费级硬件上运行大型语言模型，例如 Z.ai 的 GLM-5.2（拥有 7440 亿参数）。该方法将保留在内存中的密集模型主干与按需从高速 NVMe SSD 流式传输的稀疏专家层分开。虽然初始性能较慢，但随着常用专家被缓存到内存中，吞吐量会显著提高，使其适用于批处理和长时任务。
-
GLM-5.2 模型可在配备 25GB RAM 的消费级硬件上运行 · 已追踪 2 个来源
据报道，拥有 744B 参数的混合专家（MoE）模型 GLM-5.2 可以在消费级硬件上运行。一位用户分享说，它可以在大约 25 GB RAM 的机器上运行，而另一位用户详细介绍了其在配备 48 GB RAM 的 MacBook Pro M5 上的性能，速度在每秒 2 到 2.8 个 token 之间。这一进展表明在本地运行大型语言模型的可用性有所提高。
-
Colibrì 概念验证模型在 25GB RAM 上运行巨大的 1.5TB AI 模型
一位名叫 Vincenzo（也称为 JustVugg）的意大利工程师开发了一个名为 Colibrì 的概念验证模型，该模型能够在一个仅有 25GB RAM 的普通 CPU 上运行一个 1.5TB、7440亿参数的 GLM-5.2 AI 模型。尽管目前的性能极其缓慢，每秒仅为 0.05-0.1 个 token，使其不适用于实时使用，但将模型组件分块加载到 RAM 的方法预示着本地 AI 设置的潜力。这种方法有可能使与 Anthropic…
-
开发者在消费级硬件上运行了巨大的 744B GLM-5.2 模型
一位开发者创建了一个名为 Colibri 的 C 语言引擎，该引擎允许拥有 7440 亿参数的大型 GLM-5.2 模型在内存约 25 GB 的消费级硬件上运行。这是通过按需从磁盘流式传输模型专家来实现的，而不是要求所有专家都加载到内存中。该引擎是一个单一的 C 文件，旨在让功能强大的 AI 模型在性能较低的机器上也能使用。