PulseAugur
中
实时 00:58:44
English(EN) MTEB-PT: A Text Embedding Benchmark for Brazilian Portuguese

新的基准测试评估葡萄牙语文本嵌入模型，揭示性能差距

作者 PulseAugur 编辑部 · [4 个来源] ·

发布了两个新的基准测试 MTEB-PT 和 MTEB-PT（巴西葡萄牙语），专门用于评估葡萄牙语的文本嵌入模型。这些基准测试解决了现有评估中葡萄牙语代表性不足的问题，而现有评估通常依赖于翻译的数据集或多语言平均值。新的基准测试包含大量葡萄牙语原生任务，涵盖语义文本相似性、分类、检索和重新排序等多个类别。初步评估表明，模型性能高度依赖于任务，并且在多语言基准测试上的排名并不能可靠地预测葡萄牙语特定性能，这凸显了进行原生语言评估的必要性。 AI

影响 这些基准测试将能够更准确地评估葡萄牙语的语言模型，从而为该语言带来更好的模型选择和开发。

排序理由 该集群包含两篇介绍用于评估语言模型的新基准测试的学术论文。

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 4 个来源。 我们如何撰写摘要 →

新的基准测试评估葡萄牙语文本嵌入模型，揭示性能差距

报道来源 [4]

  1. arXiv cs.AI TIER_1 English(EN) · Lucas Hideki Takeuchi Okamura, Alexandre Alcoforado, Anna Helena Reali Costa ·

    超越多语言平均水平：MTEB-PT，一个葡萄牙语句子编码器基准

    arXiv:2607.04071v1 Announce Type: cross Abstract: Portuguese remains underrepresented in text embedding evaluation, despite being one of the most widely spoken languages in the world. As a result, embedding models are often selected based on English or multilingual metrics, while…

  2. arXiv cs.CL TIER_1 English(EN) · Tardelli Ronan Coelho Stekel ·

    MTEB-PT：巴西葡萄牙语的文本嵌入基准

    arXiv:2607.04581v1 Announce Type: new Abstract: Text embeddings for Portuguese have no dedicated benchmark: evaluation rests on translated corpora such as English MS MARCO or on thin multilingual coverage, with native tasks scattered and unconsolidated. We introduce MTEB-PT, a be…

  3. arXiv cs.CL TIER_1 English(EN) · Tardelli Ronan Coelho Stekel ·

    MTEB-PT：巴西葡萄牙语的文本嵌入基准

    Text embeddings for Portuguese have no dedicated benchmark: evaluation rests on translated corpora such as English MS MARCO or on thin multilingual coverage, with native tasks scattered and unconsolidated. We introduce MTEB-PT, a benchmark of 22 native Brazilian-Portuguese tasks …

  4. arXiv cs.IR (Information Retrieval) TIER_1 English(EN) · Tardelli Ronan Coelho Stekel ·

    MTEB-BR：巴西葡萄牙语的文本嵌入基准

    Text embeddings for Portuguese have no dedicated benchmark: evaluation rests on translated corpora such as English MS MARCO or on thin multilingual coverage, with native tasks scattered and unconsolidated. We introduce MTEB-BR, a benchmark of 22 native Brazilian-Portuguese tasks …

相关实体

相关话题