POCKET-35B

POCKET-35B 模型可在无 GPU 的 PC 和手机上运行

一款名为 POCKET-35B 的新型 350 亿参数语言模型已发布，旨在高效运行在消费级硬件上，包括没有独立 GPU 的个人电脑甚至智能手机。该模型提供多种量化版本，文件大小从 5.1 GB 到 21 GB 不等，用户可根据设备的内存和性能需求选择最合适的版本。值得注意的是，POCKET-35B 可使用标准的 llama.cpp 软件运行，无需定制分支或云基础设施。