Infermeld

Infermeld 工具包支持在混合 AMD/NVIDIA GPU 上运行 GGUF 模型

一款名为 Infermeld 的新开源 Linux 工具包已发布，旨在实现在 AMD 和 NVIDIA GPU 上运行单个 GGUF 模型。Infermeld 使用 llama.cpp 开发，旨在允许拥有现有混合 GPU 设置的用户协同利用其硬件。该实验性版本包括设备选择、运行时预检和可复现的构建说明等功能，但它适用于熟悉实验性 Linux 环境的用户，并且需要单独的模型权重。