Solar LLM 服务器 V2 的开发者正在取得进展,已经达到了可以运行基本 Strata 测试的阶段。该系统在使用 Strata 的 QWEN 3.8 120b 模型时实现了每秒 28 个 token 的性能。接下来的任务包括将存储升级到 RAID0 阵列以加快加载速度,改进 GPU 散热,安装 Hermes Agent 和 Unsloth 等附加软件,并进行压力测试以优化性能。 AI
影响 该项目展示了自托管 LLM 基础设施的进步,有可能实现更强大的本地 AI 部署。
排序理由 这是一个个人的家庭实验室项目更新,不是前沿发布或重大的行业事件。
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →