一个名为Strata的新开源项目旨在支持在分布式GPU设置上运行大型AI模型,包括旧硬件。该项目托管在GitHub上,可能以相对较低的成本实现强大的本地推理能力,一套多GPU的配置可能低于1000美元。这对于希望为个人使用(例如家庭自动化或个人代理)运行模型而不依赖云服务的用户来说可能很有益。 AI
影响 可能降低在本地运行大型AI模型的门槛,从而支持更多自托管的AI应用。
排序理由 该集群描述了一个用于运行AI模型的新开源项目,属于AI工具类别。
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →