Betty Xiong

新的基准FDARxBench测试LLM的监管和临床推理能力

研究人员开发了FDARxBench，这是一个新的基准，旨在评估大型语言模型在处理复杂的FDA药品标签文件时的监管和临床推理能力。该基准由专家与FDA监管评估员合作创建，包括事实回忆、多跳推理和安全拒绝行为等任务。初步实验表明，当前模型在事实基础、长上下文检索和适当拒绝方面存在显著局限性，凸显了在监管级文件理解方面提高LLM性能的必要性。