研究人员开发了 Incognita,一个用于在复杂社交任务环境中评估生成式代理的新框架。该系统基于康考迪亚大学,将社交互动与基于现实的执行分开,允许代理与中介动作的专家进行交流。Incognita-Retail 是一个特定应用,将 tau-Bench 零售环境改编为多实体设置。在 18 项任务上的评估表明,虽然代理在成功率方面有所提高并减少了过早定稿,但其整体可靠性仍然很低,突显了知识提取和动作理由方面的未来发展领域。 AI
影响 引入了一种新颖的评估方法,用于在复杂、社会分布式任务中评估生成式代理。
排序理由 学术论文,描述了一个新的生成式代理评估框架。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →