一个名为 Neykosa 的团队在一个内存为 4 GB 的入门级 Android 手机 Galaxy A05s 上对运行的 Qwen3 0.6B 模型进行了基准测试。该模型在空上下文下的速度为 14.8 tokens/秒,在 768-token 上下文下的速度为 11.0 tokens/秒。这些测量结果使用 llama.cpp 进行,并通过 Firebase Test Lab 报告,突显了即使使用相同的模型和运行时,上下文深度也会影响吞吐量。该团队还进行了单独的整个应用测试来测量响应时间,强调了区分原始速度基准测试和实际应用程序响应时间的重要性。 AI
影响 证明了在低资源移动设备上运行 LLM 的可行性,可能为设备端 AI 应用带来新的可能性。
排序理由 在消费级硬件上对小型 LLM 进行的研究基准测试。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →