实体
ServeLearnBench
ServeLearnBench
PulseAugur coverage of ServeLearnBench — every cluster mentioning ServeLearnBench across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
Infini-AI-Lab 发布 Hermit,一个开源的 AI 代理适配器框架
Infini-AI-Lab 推出了 Hermit,一个开源框架,旨在适应 AI 代理而无需更改其核心模型。该框架允许开发人员训练外部“适配器”,这些适配器可以整合新的指令、技能、记忆和工具。Hermit 支持多种训练方法,并与多个 AI 后端集成,包括 vLLM、Ollama 以及来自 OpenAI 和 Anthropic 等提供商的 API 服务。在数据库探索和客户支持等任务上的初步基准测试显示,性能优于基线方法。
-
新基准评估AI代理从经验中自我改进的能力
开发了一个新的基准ServeLearnBench,用于评估AI代理从真实服务经验中改进的能力。该基准包括零售、银行和销售推介生成等领域的不断变化的环境和流式数据集,并在六种不同的语言大模型上测试了五种学习机制。初步研究结果表明,代理的任务能力与其从经验中学习的能力之间存在显著差距,持续适应的成本很高,并且经常会降低现有性能。探索不足被认为是有效适应的关键瓶颈。