LLM embedding tables

新的 D-SLR 分解方法在矩阵压缩方面优于 SVD

研究人员推出了一种新颖的矩阵分解方法 D-SLR，它改进了标准的截断奇异值分解 (SVD)。D-SLR 通过将行限制为要么原样存储，要么通过低秩拟合来近似，但绝不会同时进行这两种操作，从而实现这一点。这种方法允许获得封闭形式的解，无需迭代求解器或参数调整，并且在同等成本下其性能从不劣于截断 SVD。在包括 LLM 嵌入表在内的各种数据集上的实验证明了 D-SLR 在提高重构精度和为任何选定的秩和存储行数提供可计算误差界限方面的有效性。