Gepa Ai Agent
PulseAugur coverage of Gepa Ai Agent — every cluster mentioning Gepa Ai Agent across labs, papers, and developer communities, ranked by signal.
10 天有情绪数据
GEPA's performance is being surpassed by newer LLM pipeline optimization frameworks.
Recent evidence indicates that GEPA, while effective for arithmetic word problems, is being outperformed by newer systems like FAPO. FAPO demonstrated superior performance across multiple benchmarks, particularly when structural pipeline changes were needed, suggesting GEPA may be falling behind in broader LLM optimization capabilities.
GEPA could pivot to focus on niche LLM optimization tasks where it retains a competitive edge.
Given that FAPO and other frameworks are outperforming GEPA in general pipeline optimization, GEPA might find success by specializing. It could focus on its demonstrated strength in arithmetic word problems or other specific domains where its iterative refinement approach remains superior, rather than competing broadly.
The trend towards single-file optimization methods like Microsoft's SkillOpt may reduce the need for complex frameworks like GEPA.
Microsoft's SkillOpt demonstrates significant performance gains using a simple Markdown file, outperforming specialized training methods. This suggests a potential shift towards more accessible and less complex optimization techniques, which could diminish the market relevance of more intricate frameworks like GEPA if they cannot adapt.
-
新系统FinEvolveKG改进金融知识图谱构建
研究人员开发了FinEvolveKG，一个用于从SEC 10-Ks构建金融知识图谱的新系统。该系统将通用提示块和特定于角色的提示块分开，使用一种称为GEPA的反射优化器，该优化器被限制在特定角色块内。这种方法确保核心规则保持稳定，同时允许有针对性的提示演化，与不受约束的优化方法相比，性能有所提高，方差有所降低。审计表明，生成的三元组可以作为真实数据，并且比不受约束的方法生成的更受欢迎。
-
LLM 优化：研究发现父代继承推动进展
一篇题为“谱系即记忆：短预算 LLM 指导优化中的父代继承与反馈披露”的新研究论文探讨了大语言模型不同优化策略的有效性。该研究在九个基准测试中进行了 1,750 次预注册运行，发现贪婪父代继承（即修订建立在存活的父代基础上）推动了大部分优化进展。这种方法显著优于种子重置重采样，即使后者获得了更全面的失败反馈或使用了更大的模型。虽然错误聚类和多样化失败选择提供了初步收益，但顺序父代继承通过保留已解决的错误模式，迅速匹配了它们的性能。研究…
-
ParetoSaddler 优化 LLM 智能体组合，兼顾质量与成本
研究人员开发了一种新颖的优化大型语言模型 (LLM) 智能体组合的方法 ParetoSaddler。该方法将中间候选者晋升与最终部署选择分开，从而可以联合优化响应质量和成本。通过使用贝叶斯自举帕累托支持，ParetoSaddler 识别出在质量或成本方面显示出可信进展的候选者，保留了可能被丢弃的有价值的选项。在 ClawMark 和 GAIA2 基准测试上的评估表明，在降低每项任务成本的同时，质量也得到了显著提高。
-
研究发现：AI代理因重叠保护而面临防护措施丢失的风险
一篇题为“掩码侵蚀”的新研究论文引入了一个概念，即自改进的AI代理可能因重叠的保护措施而无意中失去关键的防护。研究发现，当一个防护措施失效时，其他措施仍然可以阻止损害，导致代理的接受门忽略了冗余的丢失。这种防护措施的侵蚀可能导致在代理稍后与能力较弱的模型一起使用时产生意外损害，即使安全规则本身保持不变。
-
新的GEPA-Curator框架通过过滤任务失败来增强AI代理的学习
研究人员推出GEPA-Curator，一个旨在改进自改进AI代理学习过程的框架。该系统解决了在复杂环境中代理失败可能产生的嘈杂或不可靠的学习信号问题。GEPA-Curator过滤掉不太可能提供有用学习信号的任务，并选择性地检索成功的过去轨迹，为提示优化器提供额外上下文。使用Gemini 3.1 Pro和Claude Opus 5等模型在GoBrowse和AppWorld等基准上的评估表明，GEPA-Curator可与现有方法相媲美或超…
-
GEPA优化器通过批处理得到增强，以实现更快、更好的AI代理性能
研究人员通过使其能够在反射优化循环中同时提出和评估多个候选对象，从而增强了GEPA优化器。这种批处理方法显著减少了处理时间，一些运行的完成时间仅为原始挂钟时间的四分之一到三分之一。此外，批处理设置在LiveBench-Math和HoVer等任务上提高了性能，取得了更高的测试分数，并更有效地利用了计算资源和预算。
-
GEPA 提示优化器合并算子不稳定性诊断
一项关于 GEPA 反射式提示优化器的新诊断研究表明，其系统感知合并算子在不同语言模型上表现出不稳定性。虽然合并算子在 GPT-4.1 mini 上提高了性能，但在 Qwen3-8B 上却降低了性能。研究人员调查了五个数据集和两个模型之间的这种不对称性，发现适当的配置可以改进两个模型。该研究排除了提示层面的特征作为 GEPA 合并决策的预测因子，并引入了一个基于行为的探测器 GEPA-MergeProbe，该探测器在有风险的任务上会避…
-
AI评估工具的缺陷与有效性研究
一项新发表在arXiv上的预注册研究，调查了AI模型评估工具的有效性，特别关注可见性、基线充分性和缺陷。研究使用了从1.7B到8B参数的模型，包括Qwen3-14B，在LongevityBench、MMLU-Pro和GSM8K等基准测试中进行。研究结果表明，禁用模型中某些“思考”机制可以通过允许解析器处理以前无法读取的答案来提高准确性，并且对于较小的模型，这种方法与救援配置或GEPA选择的评估工具相当。
-
新方法确保处理实时数据的 AI 代理可复现评估
研究人员开发了一种新的方法来评估与动态企业数据交互的对话代理。这种方法即使在底层数据发生变化时也能确保可复现性，并且可以在过时时重新生成。该系统用于优化生产代理的提示，在不牺牲正确性的情况下，提示大小减少了 3.5-7.6%，在某些情况下，甚至提高了多个主题-模型系列的性能。
-
EMMA系统通过结构化记忆增强多智能体工作流合成
研究人员推出EMMA，一种使用结构化情景记忆合成多智能体工作流的新系统。EMMA通过明确更新所有权和可采纳性，解决了当前LLM代理部署的局限性，从而实现更可控和有效的学习。在KramaBench、AppWorld和BBEH基准测试中进行测试，EMMA表现出色，性能优于基线高达32.5%，并且使用的训练执行次数更少。
-
使用 GEPA 构建可靠的 AI 裁判 · 跟踪 1 个来源
本次演示详细介绍了如何构建有效的 AI 评估器，即“LLM 作为裁判”，它们可以准确地评估其他 AI 系统，例如客服机器人。核心挑战在于现成的 LLM 评估器不可靠，它们产生的判断常常与人类专家的判断不一致。为了解决这个问题，演讲者介绍了 GEPA，这是一种提示优化算法，它通过迭代地完善 AI 裁判的标准，类似于教练训练运动员，以使其评估与人类基准保持一致。该过程包括定义清晰的指标，准备带有推理的高质量标注数据，然后使用 GEPA 优…
-
人工智能提升餐饮、编码和大型语言模型评估能力
人工智能正被整合到日常生活的各个方面，从增强餐厅用餐体验到改进软件开发工具。在食品行业，人工智能分析菜单以提供个性化的营养信息和饮食建议。对于开发人员来说，像 Chrome DevTools MCP 这样的工具正在涌现，以协助编码任务，并可能与 Claude Code 等模型集成。此外，关于构建更有效的语言模型评估器（如 GEPA 系统）的研究正在进行中，以确保其可靠性和性能。
-
RSIHub框架通过可重用组件标准化智能体演化研究
研究人员推出了RSIHub，一个旨在简化智能体演化方法开发和比较的开源框架。该框架提供了共享的基础设施，使研究人员能够专注于演化策略，而不是重建实验机制。RSIHub支持实例化AHE、Hyperagents、A-Evolve和GEPA等各种方法，并在MiniSWE和Codex等基准测试上进行了评估，在不同设置下展示了不同的性能提升。
-
研究确定了用于AI压力预测的有效提示演化策略
一篇新研究论文探讨了使用大型语言模型改进压力和情绪预测的提示演化策略。研究发现，一种称为GEPA的方法及其扩展GEPA+merge在预测准确性方面比初始提示有所提高。研究确定了与开发收益相关的五种特定提示策略，例如将注意力引向情绪证据以及区分当前痛苦与过去痛苦。
-
新的PID门控方法在嘈杂反馈下改进LLM代理的适应性
研究人员开发了一种新方法，用于在存在嘈杂反馈的情况下，持续地使LLM代理适应不断变化的任务。该方法借鉴了PID控制的原理，使用轻量级门控来决定何时反馈应触发永久指令更新，从而平衡任务性能与编辑成本。与TextGrad和GEPA等现有提示优化器相比，PID门控适应在准确性和编辑调用预算之间提供了更好的权衡，为在不可靠环境中进行鲁棒的提示适应提供了一个通用工具。
-
研究发现，提示优化器在未评分的要求上出现回归
一项预注册研究考察了 GEPA、MIPROv2 和 TextGrad 等提示优化器，发现虽然它们在 HotpotQA 等数据集上改进了目标指标，但它们也引入了输出格式和引用有效性等未评分要求的回归。具体来说，在 200 个 token 的输出限制下，相当一部分响应在提供答案之前就被截断了。然而，在更宽松的 1,024 个 token 限制下，这些提取失败被消除，并且在未评分要求上的性能得到了改善。
-
新协议通过反思性提示优化提升 AI 代理研究性能
研究人员开发了一种名为反思性提示优化（GEPA）的新协议，以提高语言模型代理的性能。该方法应用于深度研究代理，显著增加了引用奖励。研究发现，虽然一些提示优化导致了记忆，但核心的可转移收益来自于分解的、每维度的反馈，而不是单一的标量奖励。
-
研究发现：AI代理从失败反馈中自我修改能力有限
一篇新的arXiv论文研究了AI代理是否能根据失败反馈有效地修改其行为。研究发现，虽然相关反馈可以改善目标修复，但收益并不总是针对特定失败或泛化到其他失败。使用Qwen3-4B和Phi-4-mini等模型的实验显示，在目标特定修复方面结果好坏参半，主要在失败机制可识别和可修复的设置中观察到改进。
-
新研究探讨机器学习任务的预算优化 · 跟踪到2个来源
两篇新研究论文探讨了机器学习任务的预算优化策略。第一篇论文“BudgetAPO”介绍了一种新颖的单阶段优化器，专为预算紧张和速率受限的API场景设计，在各种基准测试中表现优于GEPA等现有方法。第二篇论文“Optimally Pacing Budget Spending and Learning”为对抗性设置下的预算约束在线学习建立了近乎最优的遗憾界限，并扩展到在线资源分配问题。
-
LLM自改进循环因选择噪声而遭受“赢者诅咒”
一篇新的arXiv论文探讨了自改进大型语言模型（LLM）中“赢者诅咒”现象。该研究使用Qwen模型重写自己的指令，发现初始指令之外的大多数提议的更改都是有害的。研究强调了当LLM在小型、重复使用的数据集上评估自身改进时，选择噪声和锁定问题会导致报告的收益相对于实际的保留准确率膨胀。