实体
DABench
DABench
PulseAugur coverage of DABench — every cluster mentioning DABench across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
小型 AI 代理在数据分析任务上未能超越单提示
一个旨在规划、编码、执行和自我修复 CSV 文件分析的数据分析 AI 代理,其表现不如一个简单的单次提示。该代理使用 Pydantic-AI 构建,并通过 Ollama 在一个 1.5B 参数的 Qwen2.5-Coder 模型上运行,在 DABench 基准测试中达到了 0.55 的准确率,而单次提示方法达到了 0.70。该代理的失败归因于小型模型无法可靠地管理工具调用循环和自我修复机制,常常导致重复的错误纠正或无法执行代码。
-
TACIT-SWITCH 优化LLM代理的成本-可靠性权衡
研究人员开发了TACIT-SWITCH,一种新颖的LLM代理方法,可优化成本和可靠性之间的权衡。该方法学习策略,仅在必要时升级到更大、更昂贵的模型,这基于累积的轨迹证据和教师标注的干预时间。在模拟中,TACIT-SWITCH 在保持可比成本的同时,展示了比基线路由方法更高的成功率,在ALFWorld和DABench基准测试中尤其有效。