新基准揭示大模型代理在极端天气预警方面的差距

研究人员开发了SIREN-Bench，一个旨在评估用于极端天气早期预警系统的大语言模型（LLM）代理的新基准。该基准包含19个任务的600个问答实例，涵盖了单个预警程序和端到端的预警链。现有的天气代理框架在SIREN-Bench测试中显示出显著的能力差距。为解决这个问题，该研究提出了SIREN，一个基于经验的代理框架，通过检索、技能蒸馏和预测建模利用历史天气案例，展示了优于基线代理的性能。 AI

影响 这项研究可能带来更强大、更具可扩展性的自动化系统，用于预测和预警极端天气事件。

排序理由 该集群描述了一篇介绍大模型代理在极端天气早期预警方面的基准和框架的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• DagsHub
• Gotit.pub
• Hugging Face
• Large Language Model
• LLM agents
• ScienceCast
• SIREN-Bench

• 论文
• 产品

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →