FineWeb-10BT

通过问题粒度评估RAG系统的新框架

研究人员引入了HieraRAG，一个通过分析问题粒度来评估检索增强生成（RAG）系统的分层框架。该框架旨在帮助实践者确定RAG基准测试的最佳详细程度，以最大化其区分能力。一项案例研究生成了超过5000个合成问答对，揭示了最佳粒度因维度而异，复杂性受益于细粒度区分，而其他方面在中间粒度达到峰值。此外，还开发了一种新指标——连贯性比率（Coherence Ratio），用于评估细粒度分割如何很好地细分父类别。