Lanbo Lin

新的JADE框架通过专家驱动的动态评估增强了AI代理的评估能力

研究人员推出了一种新颖的两层评估框架JADE，旨在应对在开放式专业任务上评估AI代理所面临的挑战。JADE的第一层将专家知识编码为评估技能，以实现稳定的标准；第二层则进行动态的、基于声明的评估，并带有证据依赖门控。在BizBench上的实验表明，JADE能够提高评估的稳定性，并识别出标准LLM评估器遗漏的关键代理失败，同时还显示出与专家评分标准的一致性，并能有效地迁移到HealthBench等其他领域。