SIREN-Bench

新基准揭示大模型代理在极端天气预警方面的差距

研究人员开发了SIREN-Bench，一个旨在评估用于极端天气早期预警系统的大语言模型（LLM）代理的新基准。该基准包含19个任务的600个问答实例，涵盖了单个预警程序和端到端的预警链。现有的天气代理框架在SIREN-Bench测试中显示出显著的能力差距。为解决这个问题，该研究提出了SIREN，一个基于经验的代理框架，通过检索、技能蒸馏和预测建模利用历史天气案例，展示了优于基线代理的性能。