GTE-ModernColBERT

EigenLI框架使用谱近似压缩后期交互模型

研究人员开发了EigenLI，一个新颖的框架，通过识别和利用文档的内在低秩结构来近似后期交互模型。这种谱近似方法将表示压缩到低维子空间，在保留检索信号的同时显著降低了索引成本和存储占用。与基于聚类的池化方法相比，EigenLI在ColBERTv2和AnswerAI-ColBERT-small等模型上表现出更优越的性能，并且还引入了EigenLI-SV，用于与ANN兼容的单向量表示，其性能优于现有的替代方案。