24 GB GPU

Muse Glimmer 30B 模型针对 24GB GPU 和 256K 上下文进行了优化

一位开发者成功优化了 Muse Glimmer 30B 模型，使其能够在单个 24GB GPU 上以 256K 的上下文窗口运行。这项利用 DFlash 技术的优化显著提高了性能，在 DFlash 代码生成方面达到了 84.64 tokens/sec，在混合代理工作方面达到了 38.34 tokens/sec。开发者指出，最快或最低困惑度的量化并未产生最佳结果，这表明在使用推测解码时，令牌吞吐量受到可预测性的影响。