研究人员开发了 DoPR，一个旨在提高大型语言模型 (LLM) 重排效率的新型框架。DoPR 通过将离线文档准备与在线重排分离来解决冗余文档处理的问题。它通过创建可复用、压缩的文档前缀状态来实现这一点，这些状态是预先计算并存储的。在在线重排期间，LLM 只需要处理查询和一个评分令牌，并利用存储的前缀来获取文档信息，从而显著降低了计算成本和延迟。 AI
影响 该框架可以显著减少基于 LLM 的搜索和检索系统所需的计算资源，使其更具可扩展性和成本效益。
排序理由 该集群包含一篇详细介绍用于提高 LLM 效率的新技术框架的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 arXiv cs.IR (Information Retrieval) 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
