R740 road

定制引擎在旧硬件上为 Qwen-Flash-Next 实现 400 t/s

一位用户开发了一个定制引擎，旨在以近每秒 400 个 token 的高速运行 Qwen-Flash-Next 大型语言模型。这一性能是通过在一台旧的 R740 服务器中使用三个 V100 32GB GPU 的配置实现的。该引擎是 strata 项目的一个分支，其核心组件已进行了大量修改，以优化 Volta 代 GPU 的性能。