研究人员推出了一种名为PromptEmbedder的新型双LLM框架，旨在提高文本嵌入的效率和可迁移性。该方法通过使用一个提示LLM为冻结的嵌入LLM生成软提示，将嵌入知识与特定模型权重解耦。这种方法允许通过仅重新训练一个轻量级的线性对齐矩阵来适应新架构，与LoRA等方法相比，显著降低了计算成本和训练时间。在MTEB基准上的评估表明，PromptEmbedder在实现具有竞争力的性能的同时，使用的GPU内存更少，训练速度更快。 AI
影响 这种新方法可以显著降低在文本嵌入任务中使LLM适应新架构所需的计算成本和时间。
排序理由 这是一篇描述文本嵌入新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
