研究人员开发了 Saidzoda-Tajik-E5-Large,一个拥有 5.6 亿参数的文本嵌入模型,专门针对塔吉克语进行了微调。该模型显著提高了塔吉克语法律和税务文件的检索准确性,在法律文件的前十个结果中找到正确段落的成功率为 93.6%,在税务文件中为 94.5%。微调过程涉及在超过 235,000 个问题-段落对上进行训练,并结合了难负例和混合语言数据,以保持在英语和俄语上的性能。虽然该模型在特定任务上的表现与更大的模型相当,但其在通用测试集上的表现提升较小,研究人员指出,使用 bfloat16 格式进行训练未能成功。 AI
影响 增强了塔吉克语等资源匮乏语言的信息检索能力,可能在新兴的法律和行政领域带来新的应用。
排序理由 该集群描述了一篇新的研究论文,详细介绍了对现有语言模型针对特定语言和任务进行微调的过程。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Belebele
- English
- Giga-Embeddings-3B
- Hugging Face
- multilingual-e5-large-instruct
- Russian
- Saidzoda-Tajik-E5-Large
- Tajik
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →