Neykosa 团队在 4GB Galaxy A05s 手机上对一个 0.6B 参数模型 Qwen3 0.6B 进行了基准测试。该模型使用 llama.cpp,配合特定的设置(包括 6 位 Q6_K 量化和 4 个线程),达到了每秒 14.8 token 的速度。然而,该团队强调,这个速度指标并不能反映用户体验,用户体验更依赖于整体响应时间。他们 Nesayo 离线版的独立测试显示,响应时间从一次性回答的 4.25 秒到首次启动的 18.8 秒不等,模型内存使用量约为 673 MB。 AI
影响 证明了在低资源移动设备上运行小型 LLM 的可行性,可能为离线 AI 应用提供支持。
排序理由 在移动设备上运行小型 LLM 的基准测试结果。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →