一位开发者已成功在 Android 手机上运行大型语言模型，包括 GPT-OSS-120B、Qwen-30B 和 Gemma 26B，仅使用 CPU 和手机闪存。这是通过实现一种流式传输技术实现的，该技术仅加载每个 token 所需的模型专家，而不是将整个模型加载到 RAM 中。这种方法基于 llama.cpp 构建，允许运行比可用 RAM 大得多的模型，输出与内存中执行完全相同，但速度较慢，为 1-5 token/秒。 AI
影响 使得在资源有限的边缘设备上运行更大、更强大的 LLM 成为可能。
排序理由 展示了一种在消费级硬件上运行大型模型的新颖方法，这是一项工具级别的创新。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
