Clinical Intent Alignment

新框架自动生成医疗LLM评估的评分标准

研究人员开发了一种新颖的检索增强型多代理框架，旨在自动生成特定实例的评估评分标准，用于医疗大型语言模型（LLMs）的评估。该方法通过整合检索到的内容和用户交互约束来创建细粒度标准，从而将评估 grounding 在权威的医学证据上。在 HealthBench 和 LLMEval-Med 上进行测试时，该框架的性能显著优于 GPT-4o，在临床意图对齐分数和区分性测试中的胜率方面均有所提高。生成的评分标准在改进 LLM 响应方面也显示出…