LLM-teacher distillation

MCompassRAG框架利用主题元数据提高RAG效率

研究人员开发了MCompassRAG，一个旨在增强检索增强生成（RAG）系统的新型框架。这种新方法利用主题级元数据作为语义指南，以改进相关信息的选择，从而提高复杂研究任务的效率和准确性。通过用主题元数据丰富文档块并采用LLM教师蒸馏来训练轻量级检索器，MCompassRAG在推理过程中无需额外的LLM调用即可实现主题感知检索。与现有的高效RAG基线相比，该方法在六个基准测试中的信息效率平均提高了8.24%，同时延迟降低了五倍以上。