PromptEmbedder

PromptEmbedder 通过双LLM提示实现高效、可迁移的文本嵌入

研究人员推出了一种名为PromptEmbedder的新型双LLM框架，旨在提高文本嵌入的效率和可迁移性。该方法通过使用一个提示LLM为冻结的嵌入LLM生成软提示，将嵌入知识与特定模型权重解耦。这种方法允许通过仅重新训练一个轻量级的线性对齐矩阵来适应新架构，与LoRA等方法相比，显著降低了计算成本和训练时间。在MTEB基准上的评估表明，PromptEmbedder在实现具有竞争力的性能的同时，使用的GPU内存更少，训练速度更快。