实体
Qwen-30B
Qwen-30B
PulseAugur coverage of Qwen-30B — every cluster mentioning Qwen-30B across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
大型 LLM 通过 CPU 流式传输在 Android 手机上运行
一位开发者已成功在 Android 手机上运行大型语言模型，包括 GPT-OSS-120B、Qwen-30B 和 Gemma 26B，仅使用 CPU 和手机闪存。这是通过实现一种流式传输技术实现的，该技术仅加载每个 token 所需的模型专家，而不是将整个模型加载到 RAM 中。这种方法基于 llama.cpp 构建，允许运行比可用 RAM 大得多的模型，输出与内存中执行完全相同，但速度较慢，为 1-5 token/秒。
-
Gemini 协助用户优化本地 LLM 的 CUDA 性能
用户成功为其 AEye 项目安装了 llama.cpp 的 CUDA 版本，Gemini 协助解决了与缺少 DLL 文件相关的 CUDA 问题。此设置使他们的 RTX 5080 能够以超过 217 tokens/s 的速度运行 Qwen 30B，证明了本地 LLM 对于不需要持续云端知识的任务的可行性。
-
LEVI 系统以极低的成本提供 AlphaEvolve 功能
一个名为 LEVI 的新开源系统已被开发出来，以显著降低的成本（据称便宜高达 35 倍）来模拟 AlphaEvolve 的功能。LEVI 的核心原则是，通过优化的搜索架构和智能路由，小型语言模型可以实现与大型模型相当或更优的结果。该系统在代码和提示优化任务中表现强劲，在 ADRS 和 IFBench 等基准测试中超越了现有框架，同时使用的计算资源更少。