Mesh LLM 是一个新系统,通过汇集多台机器上可用的 GPU 和内存来实现分布式 AI 计算。它提供了一个统一的、与 OpenAI 兼容的 API,允许用户运行其单个硬件可能不支持的更大模型。该系统使用 iroh 进行点对点网络通信,无需中央服务器即可处理 NAT 穿透和身份验证,并支持跨机器拆分模型以进行执行。 AI
影响 使得在分布式、用户拥有的硬件上运行更大的 AI 模型成为可能,从而可能减少对中心化云服务提供商的依赖。
排序理由 该集群描述了一个集成现有硬件以实现特定用例的新软件系统,而不是一个核心 AI 模型发布或重大的行业事件。
在 Mastodon — fosstodon.org 阅读 →
AI 生成摘要 · Google Gemini · 来自 4 个来源。 我们如何撰写摘要 →