Quantize the Drafter

消费级RTX 4090 GPU在LLM推理中达到100 T/s

一个社区项目展示了消费级RTX 4090 GPU在运行Qwen 3.8 Flash Next大型语言模型时，可以达到每秒100万亿个token。这一壮举是通过激进的int4量化、使用更小草稿模型的推测性解码管道以及使用TensorRT-LLM优化的融合推理堆栈实现的。这一成就显著降低了运行大型LLM的成本，使其对研究人员和高级用户更加普及，并挑战了Nvidia为其数据中心专用性能宣传的高端H100 GPU。