Varnika

新的HybridMoE框架增强了语言模型的成语理解能力

研究人员开发了一个名为混合专家模型（HybridMoE）的新框架，以改进语言模型理解和保留成语含义的方式，特别是在低资源语言中。该框架整合了多个专家意见，并使用掩码多模态嵌入来捕捉成语的细微差别。该方法使用了一个名为Varnika的新型语料库进行了测试，该语料库包含3,533个多语言成语，并包含视觉表示和成语语气。评估显示，先进的视觉-语言模型性能提高了5-6%，表明其在处理比喻性和文化嵌入式语言方面有所改进。