研究人员开发了一种名为逐层令牌压缩（LTC）的新方法，以提高信息检索中使用的基于Transformer的文档重排模型的效率。与仅应用于初始嵌入层的先前令牌压缩技术不同，LTC在中间Transformer层调整令牌池化。这种方法在速度上显示出显著提升，将passage ranking的每秒推理查询数提高了高达25%，将document ranking的每秒推理查询数提高了116%，同时保持了重排质量。该方法也适用于长上下文列表式重排，甚至可能作为长文档任务的有益正则化器。 AI
影响 提高了信息检索系统的效率，可能带来更快的搜索结果和更好的长文档处理能力。
排序理由 该集群包含一篇学术论文，详细介绍了一种提高AI模型效率的新方法。
在 arXiv cs.IR (Information Retrieval) 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →