AMD发布了一个名为Loom Fun的实验性推理堆栈,它显著提高了在AMD硬件上运行大型语言模型的速度。基准测试显示,在使用具有32GB VRAM的Radeon 9700 GPU时,与llama.cpp相比,平均速度提高了42%。Loom Fun堆栈包括一个运行时、内核编译器和一个推理服务器,其组件设计用于集成到其他推理项目中。 AI
影响 这一发展可能提高在AMD GPU上运行大型语言模型的效率和可访问性,从而拓宽了AI从业者的硬件选择范围。
排序理由 该条目描述了一个在AMD硬件上运行LLM的实验性推理堆栈,详细说明了与现有工具相比的性能改进。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →