Liu Yewei

SHINE 超网络在单次通过中将上下文映射到 LoRA 适配器

研究人员开发了 SHINE，这是一种新颖的超网络，旨在高效地将大型语言模型 (LLM) 适应新上下文。通过利用 LLM 的现有参数并采用架构创新，SHINE 可以在单次通过中生成高质量的 LoRA 适配器，从而有效地将上下文知识转移到模型的参数中，而无需传统微调。与监督微调方法相比，这种方法显著降低了计算成本和时间，在复杂的问答任务上表现强劲，并显示出可扩展的潜力。