RoseRAG

新的RIMS框架增强了小型LLM的检索增强生成

研究人员开发了RIMS，一种用于优化小规模语言模型（SLM）的检索增强生成（RAG）的新型三阶段框架。该方法通过采用可微分的软聚合机制来解决SLM对嘈杂检索数据的敏感性问题，该机制保留了来自多个偏好对的梯度信号，而现有方法则丢弃信息或独立处理偏好对。在四个多跳问答基准上的实验表明，RIMS优于最先进的基线，即使在嘈杂的检索条件下也能在精确匹配和F1分数上取得改进的性能。