Bonsai-Ternary-27B

Bonsai-Ternary-27B 模型可在 16GB GPU 上本地运行复杂的 AI 任务

一位用户分享了在 4060Ti 16GB GPU 上本地运行 Bonsai-Ternary-27B 模型以进行知识库管理和生产力任务的经验。该模型成功处理了复杂的任务，包括查询、信息综合以及与自定义项目管理系统交互，甚至处理了图像数据。虽然它展示了良好的推理和工具使用能力，但其性能受到比预期慢的预填充速度（600-700tk/s）和显著的 KV 缓存使用率的阻碍，即使经过量化，也将上下文窗口限制在 150k 个 token。