PulseAugur
实时 12:34:12
English(EN) VietMed-MCQ: A Consistency-Filtered Data Synthesis Framework for Vietnamese Traditional Medicine Evaluation

新数据集评估大型语言模型在越南传统医学方面的能力

研究人员开发了 VietMed-MCQ,一个旨在评估大型语言模型(LLMs)在越南传统医学方面能力的新数据集。该数据集是使用检索增强生成(RAG)管道和一种新颖的一致性检查机制生成的,以确保准确性。对七个开源模型的基准测试显示,具有强大中文先验知识的模型表现优于以越南语为中心的模型,表明了跨语言知识转移的潜力,尽管复杂的诊断推理对所有模型来说仍然是一个挑战。 AI

影响 提供了一个专门的基准,以提高大型语言模型在资源匮乏、具有特定文化背景的医学领域的性能。

排序理由 该集群包含一篇详细介绍新数据集和评估框架的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Huynh Trung Kiet, Dao Sy Duy Minh, Nguyen Dinh Ha Duong, Le Hoang Minh Huy, Long Nguyen, Dien Dinh ·

    VietMed-MCQ: A Consistency-Filtered Data Synthesis Framework for Vietnamese Traditional Medicine Evaluation

    arXiv:2601.03792v2 Announce Type: replace Abstract: Large Language Models (LLMs) have demonstrated remarkable proficiency in general medical domains. However, their performance significantly degrades in specialized, culturally specific domains such as Vietnamese Traditional Medic…