DFlash2

DFlash2 在 Qwen3.8 27B 上显示速度提升但内存使用增加

一位用户在 RTX 5090 GPU 上使用 Qwen3.8 27B 模型测试了 DFlash2，这是一种加速大型语言模型推理的新方法。虽然 DFlash2 显示出速度提升，尤其是在代码生成方面，在短时间内可达 200 tokens/秒，但它也比 MTP 等先前方法更占用内存。用户指出，内存使用量的增加限制了上下文窗口的大小，尽管性能有所提高，但可能使其在特定用例中不太实用。