一位开发者使用 AMD 的实验性 hrx-loom 软件栈为 51 个大型语言模型（LLM）创建了优化的内核，在 Strix Halo 硬件上实现了比 llama.cpp 等现有解决方案更快的性能。hrx-loom 工具栈包含编译器和推理工具，允许在不修改推理引擎的情况下创建和优化模型程序。这些新内核支持工具调用、推测解码和图像输入等功能，可通过 PyPI 包在 Linux 和 Windows 上供用户使用，并有可能集成到 llama.cpp 等其他引擎中。 AI
影响 这一发展为在本地运行 LLM 提供了一种新的、潜在更快的途径，尤其是在 AMD 硬件上，这可能使寻求改进推理性能的开发者和用户受益。
排序理由 该条目描述了一种新的 LLM 软件工具和优化技术，而不是核心模型发布或研究突破。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
