实体
KramaBench
KramaBench
PulseAugur coverage of KramaBench — every cluster mentioning KramaBench across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
EMMA系统通过结构化记忆增强多智能体工作流合成
研究人员推出EMMA,一种使用结构化情景记忆合成多智能体工作流的新系统。EMMA通过明确更新所有权和可采纳性,解决了当前LLM代理部署的局限性,从而实现更可控和有效的学习。在KramaBench、AppWorld和BBEH基准测试中进行测试,EMMA表现出色,性能优于基线高达32.5%,并且使用的训练执行次数更少。
-
新的TEAL方法在无标签情况下演进可复用工具以用于编码代理
研究人员开发了TEAL(Tool Evolution for Analytics over data Lakes),一种用于演进可复用工具以用于编码代理的新型无监督方法。TEAL在没有真实标签的情况下运行,使用一个Explorer代理分析数据湖,并使用一个Critic代理审查Worker代理的轨迹。这种方法通过使代理能够在多个任务中复用其工作,而不是每次都从头开始,从而显著提高了代理的性能,尤其是在严格的步数预算下。该系统还包括TEA…
-
新的SANA框架诊断数据湖问答中LLM代理的失败
研究人员推出SANA,一个旨在评估大型语言模型(LLM)代理在海量数据湖上的探索性问答(EQA)性能的诊断框架。SANA将端到端准确性分解为搜索、规划和数据分析等特定组件,识别代理行动策略中的瓶颈和失败。通过为每个组件创建理想化的工具并进行消融实验,SANA提供了诊断证据,以查明代理在何处遇到困难,从而能够更系统地比较代理设计进展。