FastFlowLM NPU

AMD Strix Halo NPU现可通过Lemonade软件用于LLM推理

一款名为Lemonade的新软件已发布，它支持在AMD Strix Halo设备上使用神经网络处理单元（NPU）来运行大型语言模型。这使得混合模型成为可能，该模型利用NPU进行快速提示处理，并利用集成GPU进行并行执行，从而显著提高性能。这一进展对于一年前购买了这些设备的用户来说是向前迈出的重要一步，使他们能够充分利用硬件能力进行LLM推理。