com.example.localai

设备端 LLM 推理受 CPU 扩展限制，而非模型速度

设备端 LLM 推理调试系列的第二部分探讨了 Qwen2.5-1.5B 等模型在移动设备上运行缓慢的原因。初步调查发现 llama.cpp 中存在一个交叉编译错误，该错误已被修复，但性能仍然很低。进一步分析排除了线程调度问题和热节流作为主要原因。调查发现，Android 的默认 schedutil governor（动态调整 CPU 频率）导致性能波动。将 CPU 固定在最高频率仅提高了 20% 的性能，表明峰值计算能力的利用率仍然非常低。