Mesh LLM 是一个旨在通过汇集多台机器上现有的 GPU 和内存来启用分布式 AI 计算的新系统。它提供了一个与 OpenAI 兼容的 API,允许用户运行其单个硬件可能不支持的更大模型。该系统利用 iroh 进行点对点连接和数据同步,使得模型可以在本地运行、路由到对等节点或跨多台机器进行拆分。 AI
影响 通过利用现有硬件,该系统有可能降低运行大型 AI 模型的门槛,从而可能增加其普及度。
排序理由 该集群描述了一个新的软件架构和分布式 AI 计算系统,而不是一个核心 AI 模型发布或研究突破。
在 Mastodon — fosstodon.org 阅读 →
AI 生成摘要 · Google Gemini · 来自 8 个来源。 我们如何撰写摘要 →