Qwen2.5-1.5B-Instruct Q4_K_M

开发者发现 Android 上的大语言模型性能瓶颈源于缺少 ARM 优化

一位开发者在调查 Google Pixel 4 上大语言模型性能缓慢的问题时发现，该设备运行模型的速度比理论极限慢了 80 倍。主要原因是 llama.cpp 库中缺少 ARM 优化，特别是在为 Android 编译时缺少 `-march=armv8.2-a+dotprod+fp16` 标志。虽然添加这些标志将性能提高了 2.5 倍，但并未完全解决问题，仍存在与 CPU 调度或同步开销相关的进一步优化挑战。