一篇新论文评估了用于密集检索系统的八种不同的分块策略,不仅考虑了检索效果,还考虑了吞吐量和延迟等系统级成本。研究表明,计算成本高昂的分块方法并不总是优于更简单的方法,并且最佳策略取决于嵌入模型、语料库大小和特定检索指标等因素。此外,检索性能相似的方法可能具有显著不同的运营成本,这凸显了将分块视为一项多元设计决策的必要性。 AI
影响 强调文本分块的选择对检索系统的性能和运营成本有显著影响,从而影响开发人员设计和部署 RAG 系统的方式。
排序理由 该集群包含一篇评估信息检索系统分块方法的学术论文。
在 arXiv cs.IR (Information Retrieval) 阅读 →
- alphaXiv
- arXiv
- CatalyzeX
- Connected Papers
- CORE Recommender
- DagsHub
- Dense Passage Retrieval for Open-Domain Question Answering
- Gotit.pub
- Hugging Face
- information retrieval
- Litmaps
- ScienceCast
- scite Smart Citations
- EvalBench
- LangChain
- retrieval-augmented generation
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →