Sameh Khattab

新框架增强 LLM 在专业检索任务中的能力

研究人员开发了一个名为 Synthesize-Train-Merge (STM) 的新框架，用于将通用大型语言模型 (LLM) 改装成专门的密集检索器。这种模块化方法包括使用顶级 LLM 合成难负例，并使用 LoRA 微调领域特定专家，然后将它们合并。STM 框架在各种 LLM 系列和检索任务中都展现出了一致的性能提升，在生物医学检索方面表现尤为出色，同时保持了具有竞争力的通用领域能力。