layerwise token compression

Tevatron-Elastic 统一检索系统的模型扩展

研究人员推出了 Tevatron-Elastic，这是一个旨在简化弹性检索系统训练的统一抽象。该框架将减少模型大小的三种方法——更少的层、减少上层 token 处理以及更短的嵌入——整合到一个单一的可配置抽象中。该系统支持检索器和重排器，并且可以通过与 Hugging Face Transformers 兼容的接口应用于编码器和解码器模型。这种方法允许训练单个检查点，该检查点可以服务于多种模型大小，为生产环境提供了灵活性。