一款名为 Infermeld 的新开源 Linux 工具包已发布，旨在实现在 AMD 和 NVIDIA GPU 上运行单个 GGUF 模型。Infermeld 使用 llama.cpp 开发，旨在允许拥有现有混合 GPU 设置的用户协同利用其硬件。该实验性版本包括设备选择、运行时预检和可复现的构建说明等功能，但它适用于熟悉实验性 Linux 环境的用户，并且需要单独的模型权重。 AI
影响 通过允许用户组合不同的 GPU 硬件，实现更灵活且可能更具成本效益的本地 LLM 推理。
排序理由 发布用于本地 LLM 推理的软件工具。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
