ported GPU kernels

LLM推理优化在Apple Silicon上的表现与NVIDIA GPU不同

一篇新的研究论文评估了常见的LLM推理优化技术应用于Apple Silicon时的有效性，发现为服务器级NVIDIA GPU设计的技术并不总是能有效迁移。虽然KV缓存修剪可以提高Apple设备的吞吐量，但推测解码方法通常会降低性能。研究还指出，一些GPU内核设计无法直接迁移到Apple的Metal框架，并且量化收益在不同的Apple机器上有所不同。研究结果表明，优化效果是技术、运行时、硬件和工作负载复杂相互作用的结果。