实体
SkillEval
SkillEval
PulseAugur coverage of SkillEval — every cluster mentioning SkillEval across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
开发者创建SkillEval以对LLM代理提示进行单元测试
一位开发者创建了一个名为SkillEval的测试框架，以解决代理技能缺乏严格测试的问题，代理技能本质上是提示而不是传统代码。该工具允许开发者针对定义的提示和固定装置运行代理技能，断言特定的结果，例如工具使用、成本和文件修改。目标是通过提供具体结果，而不是依赖主观评估，为提示开发带来更客观、可验证的标准，类似于代码更改。
-
新的SKT管道通过经验证的合成数据增强了AI代理的技能使用
研究人员开发了SKT，一个新颖的数据合成管道，旨在增强语言模型代理识别、应用和协调技能的能力。SKT通过选择技能配置，利用基于规则和基于代理的验证来合成任务，并仅保留成功的技能使用轨迹，来生成技能基础任务和经验证的轨迹。该过程从2000个公共技能中产生了4000个任务包和27164个经验证的轨迹。为了评估技能使用性能，该团队还构建了一个新的基准数据集SkillEval。实验表明，在SKT生成的数据上进行微调的模型在各种基准和代理工具中…