Ailiang Lin

Causal2Vec 在不改变架构的情况下增强了用于嵌入的仅解码器LLM

研究人员推出了一种新颖的方法 Causal2Vec，可以在不改变核心架构的情况下增强仅解码器的大型语言模型（LLM）以用于嵌入任务。该方法涉及将输入文本预编码为单个“上下文标记”，然后将其添加到 LLM 的输入序列中。Causal2Vec 还使用来自上下文标记和 EOS 标记的组合嵌入来减轻近期偏差，在 MTEB 检索数据集基准测试上取得了最先进的结果。