Webshop
PulseAugur coverage of Webshop — every cluster mentioning Webshop across labs, papers, and developer communities, ranked by signal.
11 天有情绪数据
-
新方法提升LLM智能体在长时任务中的表现 · 跟踪2个来源
两篇新的研究论文介绍了一种在长时任务中提高大型语言模型（LLM）智能体性能的新颖方法。其中一篇论文详细介绍的ReflectPO使用强化学习框架，通过分析交互轨迹以获取线索并采用树状结构分配信用，从而实现自主纠错。第二篇论文提出了效应边际策略优化（EMPO），它通过耦合产生相同效应的不同文本响应之间的更新，使策略优化与执行级别等效对齐。这两种方法在基准测试中均表现出优于现有基线方法的性能，提高了智能体高效学习和完成复杂任务的能力。
-
新研究探索机器学习模型的先进优化技术
两篇新研究论文探索了机器学习模型的先进优化技术。第一篇论文介绍了 CORD，一个旨在通过管理冲突梯度来改进联合强化学习和自蒸馏的框架，在 ALFWorld 和 WebShop 等任务的代理训练中显示出性能提升。第二篇论文定义并利用“超模秩”进行集合函数分解，提供了一种优化集合函数并提高最大化和最小化问题的近似比的方法。
-
新的StreamStop方法优化语言模型代理推理效率
研究人员开发了一种名为StreamStop的新方法，以优化语言模型代理的推理过程。该技术通过分析部分和完整推理轨迹之间的一致性来离线学习特定模型的停止策略。StreamStop允许代理在无需访问模型内部信号的情况下决定何时停止推理，仅使用一个轻量级的停止头。在WebShop和ScienceWorld等基准测试上的评估表明，StreamStop在保持相似的任务成功率的同时，显著减少了推理令牌的使用量，例如，在WebShop上使用Qwen…
-
新的SAPD方法在无需与环境交互的情况下，利用离线数据训练LLM代理
研究人员开发了一种名为Step-Advantage Policy Distillation (SAPD) 的新方法，以使用现有的离线数据更有效地训练大型语言模型 (LLM) 代理。这种方法允许代理从过去的交互中学习，而无需重新访问环境，从而避免了监督微调中常见的灾难性遗忘。SAPD分解了多轮轨迹，并使用相对步优势信号来稳定训练，在ALFWorld和WebShop等基准测试中，与现有方法相比，其性能有所提高，训练速度也更快。
-
M-Plan框架通过集成长期和短期记忆来增强LLM代理
研究人员推出了一种新颖的闭环多智能体系统（MAS）框架M-Plan，旨在提高LLM代理在长周期和多轮任务上的性能。M-Plan集成了长期和短期记忆，并采用全局-局部和过去-当前指导策略。这种方法允许代理在需要时接收任务特定的里程碑和局部提示，同时还优化和重组信息以供将来检索到长期记忆中。在ALFWorld和Webshop等任务上的实验表明，M-Plan在准确性和效率方面优于基线方法。
-
新的PTGPO方法增强了语言代理在复杂任务上的训练
研究人员推出了一种名为前缀树分组策略优化（PTGPO）的新颖方法，旨在改进语言代理在复杂、长时序交互任务上的训练。这种无需判别器的方法通过在锚点状态组内从轨迹后缀构建前缀树，并根据父节点和子节点之间经验平均回报差来分配信用。这提供了细粒度的学习信号，而无需判别器或额外的采样。在ALFWorld、WebShop和Sokoban等基准测试上的实验表明，PTGPO在性能上优于标准的强化学习基线。
-
新的LLM学习框架使用轨迹质量来提高代理性能
研究人员推出了一种新颖的LLM代理基于经验的学习框架TQG-Exp。该方法通过引入轨迹质量损失（TQL）信号，超越了传统的结果反馈，加入了过程反馈。TQL评估任务完成度和执行过程的质量，通过配对的rollouts来指导经验优化。在ALFWorld、WebShop和ScienceWorld上的实验表明，TQG-Exp显著提高了性能，在DeepSeek-V4-Flash和Qwen3.5-Flash模型上优于现有方法。
-
新的RL框架增强多轮AI代理训练
两篇新的研究论文PEARL和ProAS引入了新颖的强化学习框架，旨在改进多轮AI代理的训练。PEARL通过分析成功和失败轨迹的模式来更准确地分配中间决策的功劳，而无需额外的评估器。ProAS则利用Agentic Reference Graph，通过掩盖不合理的激励和不对称的惩罚重新分配来优化功劳分配，旨在加速训练并提高复杂任务的性能。
-
新的HSAD方法通过顾问模型提高了LLM代理的性能
研究人员开发了一种名为事后结构化建议蒸馏（HSAD）的新方法，以提高大型语言模型代理的性能。HSAD使用一个较小的“顾问”模型，根据执行器代理过去的失败和任务的特征，为主要的“执行器”模型生成具体的指导。该顾问模型通过蒸馏过程进行训练，该过程分析执行器代理的错误并确定将导致更好结果的建议。该方法在金融研究中取得了成功，将专有代理在FrontierFinance基准测试上的合格率从52.9%提高到56.6%，同时还降低了成本并提高了在文…
-
AI代理在多篇研究论文中进化技能和策略 · 跟踪10个来源
近期研究探讨了提高AI代理在复杂环境中自我进化能力的方法。论文引入了诸如CO-evolution Drift Audit (CODA)等技术来评估代理在技能变化下的鲁棒性，以及SkillNEO用于代理技能的非精英优化，显著提升了各种任务的性能。其他工作提出了用于多会话代理强化学习的Mosaic，用于健康LLM代理因果技能自我进化的CausalEvo，以及用于多模态代理自适应技能系统的EvolvingBrain。此外，研究还探讨了自我蒸…
-
新的Agentic Critical Training方法提升了LLM代理的性能
研究人员推出了一种名为Agentic Critical Training (ACT) 的新方法，通过训练语言模型代理评估动作而非仅仅模仿动作来增强其能力。与传统的模仿学习不同，ACT使用具有可验证奖励的强化学习来教会模型区分专家动作和可能的错误。该方法在ALFWorld、WebShop和ScienceWorld等多个基准测试中表现出显著的改进，优于监督微调和CoT提示等现有方法。
-
NVIDIA 训练 AI 代理从关键性错误中恢复
NVIDIA 研究人员与普林斯顿大学和马里兰大学合作，开发了 PivotOPD，一种新颖的多轮 AI 代理训练方法。该技术教会代理识别并从可能导致任务失败的关键早期错误中恢复。PivotOPD 在 ALFWorld、WebShop 和基于搜索的问答等多个基准测试中表现出卓越的性能，在应用于 Qwen3 和 Nemotron-3.5-SFT 等模型时，优于其他 13 个基线。
-
新AI技术利用事后经验提升智能体远见
研究人员推出了一种名为自我反思蒸馏（SRD）的新颖方法，通过利用事后经验来提升强化学习的远见。SRD从已完成的轨迹中提炼知识，使智能体能够在行动前预见潜在的陷阱和有用的信息，即使在传统奖励信号稀缺的情况下也是如此。该方法是对现有强化学习技术的补充，在智能体回滚中奖励均一的场景中表现出显著的性能提升。
-
新研究使 AI 代理能更有效地学习和管理技能
近期研究探索了提高 AI 代理所用技能的有效性和管理性的方法。论文介绍了诸如 SGUID 用于选择最佳技能子集进行蒸馏，SkillMorph 用于基于执行反馈进行引导式技能演化，以及 SkillGraph 用于将技能表示为有向图以管理依赖关系等技术。其他工作侧重于通过动态场景合成（SkillSandbox）验证技能的可重用性，并理解 GitHub 等平台上共享的代理技能的供应链和安全影响。此外，研究还解决了技能投毒攻击以及在代理框架内…
-
新研究解决语言代理的长期决策问题 · 跟踪4个来源
研究人员正在开发新方法来提高语言代理的长期决策能力。一种方法RELACE使用回顾性似然评分来评估动作在原始和结果增强上下文中的合理性，在ALFWorld和WebShop等任务上显示出显著的改进。另一个框架无状态语言代理（SLAs）将研究状态与代理对话分开，使无状态代理能够专注于顾问分配的特定任务，从而以更少的token获得更好的性能。此外，一项关于动作校准的研究表明，明确地将过去的行为与其结果联系起来并使用学习到的校准器可以防止无效的…
-
神经符号协同框架增强LLM世界建模能力
研究人员开发了一个名为神经符号协同（NeSyS）的新框架，以提高大型语言模型（LLM）的世界建模能力。NeSyS结合了LLM的语义表达能力和符号模型的逻辑一致性，解决了LLM在确定性场景中容易产生幻觉的问题。该框架在LLM和符号规则之间交替训练，提高了在ScienceWorld、WebShop和PlanCraft等基准测试中的数据效率和预测准确性。这种方法在开放式任务中通过一步前瞻来提高代理奖励方面也显示出潜力。
-
CLEAR框架通过对比学习增强LLM代理的上下文
研究人员推出CLEAR，一个旨在增强大型语言模型代理上下文增强能力的新框架。该方法利用对比学习和代理反思来生成任务特定的知识，而不是依赖于对过去上下文的简单检索。通过在总结的过往经验上训练上下文增强模型（CAM），并利用强化学习进行优化，CLEAR旨在减轻大型语言模型的推理负担。在AppWorld和WebShop基准上的评估表明，与现有的基线代理相比，任务完成率和平均奖励有了显著提高。
-
新的DDO方法增强了LLM代理策略的多样性
研究人员推出了一种新颖的大型语言模型代理离线后训练方法——直接多样性优化（DDO）。DDO旨在通过结合发散树收集（DTC）和参考相对目标赔率目标（RTO）来提高代理可采用的成功策略的广度。该方法构建了与状态对齐的分支集，并训练模型在成功的替代方案中匹配参考相对目标。与BabyAI、BabaIsAI和WebShop等基准上的现有方法相比，DDO在任务成功率和策略覆盖率方面均表现出优越的性能。
-
AI代理的程序性记忆在干扰和复用方面的测试
研究人员调查了语言代理如何处理其程序性记忆的变化，重点关注复用和干扰。该研究结合了对BrowserGym TimeWarp中界面适应的回顾性分析以及在合成购物任务上的受控实验。在对qwen3:8b模型进行的受控测试中，与无记忆条件相比，具有程序性记忆的代理有时会选择更昂贵的商品，但在各种不匹配条件下，特定的干扰特征并未持续出现。研究结果表明，存在一个测试区域，程序性记忆可以在其中不匹配而不会引起显著的行为中断，尽管导致可观察错误的进一…
-
新的BehR方法改进了基于文本的世界模型以实现代理行为
研究人员引入了一种名为行为一致性奖励（BehR）的新训练范式，以改进基于文本的世界模型。与侧重于单步状态预测的传统方法不同，BehR通过衡量日志记录动作的可能性来优化世界模型与真实环境之间的功能一致性。在WebShop和TextWorld上的实验表明，基于BehR的训练增强了长期对齐，并减少了离线评估中的假阳性，同时在推理时间规划方面也显示出适度的收益。