研究人员推出了 TalkFa,这是一个旨在评估波斯语对话系统的全新基准。该基准包含三个数据集:用于知识驱动生成的 Wiki-FADIAL,用于对话行为和情感的 DAILYDIALOG-FA,以及用于戏剧对话和情感分析的 PLAYDIAL-FA。使用各种 LLAMA 和 Mistral 模型进行的实验表明,LoRA 微调显著提高了对话生成能力,并且 FABERT 和 LORA-MISTRAL-7B 等特定模型在分类任务上表现强劲。该基准经过了母语人士和外部评估的验证,揭示了自动评估指标常常高估对话质量。 AI
影响 为推进波斯语自然语言处理提供了关键资源,能够更好地评估和开发面向大量使用者的对话系统。
排序理由 该集群描述了一个用于波斯语对话生成与理解的新学术基准,包括数据集和实验结果。[lever_c_demoted from research: ic=1 ai=1.0]
- DAILYDIALOG-FA
- FABERT
- Farsi
- GPT-4.1
- LLAMA
- LoRA
- LORA-MISTRAL-7B
- MISTRAL-24B
- PLAYDIAL-FA
- TalkFa
- Wiki-FADIAL
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →