AusClinBench

新基准测试 LLM 对照澳大利亚临床政策

开发了一个名为 AusClinBench 的新基准测试，用于评估大型语言模型 (LLM) 对照当前澳大利亚临床政策的表现。该基准测试包含五个领域的 142 个问题，包括药品福利计划 (PBS) 和医疗保险福利计划 (MBS) 计费，答案通过精确匹配评分。测试显示，盲准确率范围在 51.5% 到 92.7% 之间，得分最高的模型难以区分。一个重要的发现是，当模型未被告知管理条款时，它们经常提供不正确的答案，这凸显了它们未能回忆起当前规则。