Jongseok Park

新的 Qrita 算法提高了 LLM 采样效率

研究人员开发了 Qrita，这是一种旨在提高大型语言模型中 Top-k 和 Top-p 采样效率的新型算法。通过采用基于高斯的 sigma 截断和四元枢轴搜索，Qrita 在确保确定性输出的同时，显著减小了搜索空间和内存使用量。这种新方法已被集成到 vLLM 中作为默认采样器，与现有的高性能 LLM 执行引擎相比，服务吞吐量提高了 1.4 倍。