PulseAugur
中
实时 04:12:50
English(EN) GPT-OSS-120B, Qwen 30B and Gemma 26B on an Android phone at 1-5 tok/s: +60GB model, 11GB of RAM, CPU only

大型 LLM 通过 CPU 流式传输在 Android 手机上运行

一位开发者已成功在 Android 手机上运行大型语言模型,包括 GPT-OSS-120B、Qwen-30B 和 Gemma 26B,仅使用 CPU 和手机闪存。这是通过实现一种流式传输技术实现的,该技术仅加载每个 token 所需的模型专家,而不是将整个模型加载到 RAM 中。这种方法基于 llama.cpp 构建,允许运行比可用 RAM 大得多的模型,输出与内存中执行完全相同,但速度较慢,为 1-5 token/秒。 AI

影响 使得在资源有限的边缘设备上运行更大、更强大的 LLM 成为可能。

排序理由 展示了一种在消费级硬件上运行大型模型的新颖方法,这是一项工具级别的创新。

在 r/LocalLLaMA 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

大型 LLM 通过 CPU 流式传输在 Android 手机上运行

本文如何被排名

Signal score
0 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
展示了一种在消费级硬件上运行大型模型的新颖方法,这是一项工具级别的创新。
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
infra, model release
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
83 days old
Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.

完整方法见我们的编辑标准。

报道来源 [1]

  1. r/LocalLLaMA TIER_1 English(EN) · /u/dai_app ·

    GPT-OSS-120B、Qwen 30B 和 Gemma 26B 在 Android 手机上以 1-5 tok/s 运行:+60GB 模型,11GB RAM,仅 CPU

    <table> <tr><td> <a href="https://www.reddit.com/r/LocalLLaMA/comments/1uz5n2j/gptoss120b_qwen_30b_and_gemma_26b_on_an_android/"> <img alt="GPT-OSS-120B, Qwen 30B and Gemma 26B on an Android phone at 1-5 tok/s: +60GB model, 11GB of RAM, CPU only" src="https://external-preview.red…