reranking

新的基准测试评估葡萄牙语文本嵌入模型，揭示性能差距

发布了两个新的基准测试 MTEB-PT 和 MTEB-PT（巴西葡萄牙语），专门用于评估葡萄牙语的文本嵌入模型。这些基准测试解决了现有评估中葡萄牙语代表性不足的问题，而现有评估通常依赖于翻译的数据集或多语言平均值。新的基准测试包含大量葡萄牙语原生任务，涵盖语义文本相似性、分类、检索和重新排序等多个类别。初步评估表明，模型性能高度依赖于任务，并且在多语言基准测试上的排名并不能可靠地预测葡萄牙语特定性能，这凸显了进行原生语言评估的必要性。