Compressed Sparse Row

新的STATIC技术提高了加速器上LLM生成检索的效率

研究人员开发了一种名为STATIC（稀疏转移矩阵加速Trie索引约束解码）的新技术，以提高大型语言模型中生成检索的效率。该方法将不规则的树遍历转化为向量化稀疏矩阵运算，显著加快了在TPU和GPU等硬件加速器上的约束解码速度。在大型视频推荐平台上部署后，STATIC在延迟极小的情况下实现了显著的产品指标改进，与现有的CPU和基线硬件实现相比，速度有了显著提升。