pocket box

POCKET LLM 在 CPU 上运行 35B 模型，无需 GPU

POCKET 是一款新的设备端 LLM，旨在无需 GPU 即可在标准 CPU 上运行 35B 参数模型，利用 llama.cpp 推理栈。此方法旨在克服本地和边缘部署中 GPU 稀缺和成本的障碍。虽然其吞吐量约为设备端基线 Bonsai 的 3.4 倍，但其性能和输出质量，尤其是在韩语生成方面，在很大程度上取决于量化级别，建议使用 Q4 或更高版本以获得可用结果。