PulseAugur
中
实时 04:56:35
English(EN) MIRA: A Bilingual Benchmark for Medical Information Response Audit

新基准MIRA评估LLM医疗信息一致性

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了MIRA，一个旨在评估大型语言模型（LLMs）在不同措辞的相同问题中保持医疗信息一致性的双语基准。该基准包含4,320个源自60个健康问题的提示，研究发现，当提示的健康素养较低时，LLMs通常提供的信息不够全面，可操作的步骤也更少。这种被称为“差异化信息稀释”（DID）的现象被观察到是模型特有的，一些模型如Claude和Qwen在采用知识引导的缓解技术进行提示时表现出改进。 AI

影响 凸显了LLM驱动的健康信息中潜在的风险，促使开发人员提高一致性并减少信息稀释。

排序理由 这是一篇介绍新LLM评估基准的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新基准MIRA评估LLM医疗信息一致性

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Mengyu Xu, Qiaoxin Yang, Qianqian Wang, Xiwei Dai, Weiyi Wu, Chongyang Gao ·

    MIRA：医疗信息响应审计的双语基准

    arXiv:2605.28025v1 Announce Type: new Abstract: Large language models (LLMs) are increasingly used to provide public-facing health information, yet existing safety evaluations overlook whether responses preserve comparable medical information across different user phrasings of th…

相关实体

相关话题