Mixed-domain oscilloscope

AgentSelfEdit 工具在泛化超出表面提示编辑方面遇到困难

开源工具 AgentSelfEdit 旨在根据执行反馈重写自己的系统提示，但在各种任务中表现出持续的失败模式。初步测试集中在分类问题上，但对提取、生成和混合领域语料库的进一步评估表明，该工具的弱点并非特定于分类。在这些领域中，AgentSelfEdit 倾向于提出局部措辞调整，这些调整只能带来微小的改进，有时甚至会降低性能，这表明其搜索策略较浅，难以泛化超出表面编辑的范围。