一位 Homelabber 通过在其 Optane 内存系统上增加两块 RTX 3090 GPU,显著升级了其 AI 配置,使其能够运行 2.8 万亿参数的 Kimi K3 模型。该配置实现了每秒 3.11 个 token 的生成速度和每秒 16.8 个 token 的提示评估速度。通过将模型近一半的碎片(865 GB 中的 414 GB)移入 RAM 驱动器,生成速度提升了 41%,提示评估速度增加了 26%。 AI
影响 展示了在本地运行大型模型的先进 Homelab 技术,可能启发其他爱好者。
排序理由 这是用户驱动的硬件修改和现有 AI 模型的性能调优,而非来自前沿实验室的发布或重大的行业事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →