ParoQuant

hipEngine 在 AMD RDNA3 GPU 上提供更快的 Qwen 3.6 LLM 推理

一款名为 hipEngine 的新开源推理引擎已为 AMD 的 RDNA3 GPU 开发，能够实现 Qwen 3.6 大型语言模型更快的原生推理。该引擎使用 Python 编写，核心为 HIP/C++，利用 AMD 的原生库在性能上与 llama.cpp 竞争。基准测试显示，在各种上下文长度下，尤其是在 128K 上下文时，hipEngine 的提示处理速度优于 llama.cpp，并且峰值内存使用量更低。