一款名为 POCKET-35B 的新型 350 亿参数语言模型已发布，旨在高效运行在消费级硬件上，包括没有独立 GPU 的个人电脑甚至智能手机。该模型提供多种量化版本，文件大小从 5.1 GB 到 21 GB 不等，用户可根据设备的内存和性能需求选择最合适的版本。值得注意的是，POCKET-35B 可使用标准的 llama.cpp 软件运行，无需定制分支或云基础设施。 AI
影响 使得强大的 agentic 模型能够在消费级设备上本地执行，减少对云基础设施的依赖。
排序理由 发布了一款可在消费级硬件上运行的特定模型。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
