LLM based Agents
PulseAugur coverage of LLM based Agents — every cluster mentioning LLM based Agents across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新的Copy-on-Write Scoring框架在应用工作流中评估LLM代理
研究人员推出了一种名为Copy-on-Write (CoW) Scoring的新型框架，旨在评估基于LLM的代理在特定应用工作流中的性能。该方法利用PostgreSQL级别的Copy-on-Write机制来隔离代理的写操作，从而实现会话和操作级别的精细化评分。该框架旨在解决现有评估方法存在的局限性，这些方法通常存在构造效度低以及副本环境成本高昂且易漂移的问题。CoW Scoring已在开源项目管理平台Plane上进行了演示，成功识别了…
-
新的CAPE框架通过压缩攻击保护内容免受AI代理侵害
研究人员开发了CAPE，一个旨在通过利用上下文压缩来保护文本内容免受基于LLM的代理侵害的新型框架。CAPE将不可见的扰动注入内容中，当代理压缩文本以适应其上下文预算时，会导致显著的信息丢失。该方法在保持人类可读性的同时，有效阻碍了代理的处理，与现有基线相比，信息丢失率提高了75.8%。
-
研究质疑 CoT 训练在 LLM 代理中的有效性
一篇新的研究论文调查了思维链（CoT）训练在大型语言模型（LLM）代理中的有效性。该研究在各种模型检查点上比较了“提示动作”（不带 CoT 预测动作）与“CoT 动作”（带 CoT 预测动作）。研究结果表明，提示动作的质量显著提高，而 CoT 训练并未实质性地扩大 CoT 推理本身的优势，而是提高了提示动作的质量。较晚期的模型检查点显示，基于 CoT 的修改较少，这表明对初始提示的依赖性增加。
-
为LLM代理在电子设计自动化中的应用提出新框架
一篇新发表在arXiv上的调查论文介绍了一种“交接有效性”的概念，作为理解基于大型语言模型（LLM）的代理如何与电子设计自动化（EDA）工具交互的框架。该论文根据现有系统在不同边界上维持有效性的能力，将其分为阶段边界、流程边界和组织边界类别。它提出了一个五层EDA代理通信协议（EACP），以促进可信的代理EDA，并概述了该领域未来研究的议程。
-
新理论探讨 LLM 消费者行为和代理市场
提出了一门名为 LLM 消费者行为理论的新兴研究领域，旨在分析作为自主代理的大型语言模型 (LLM) 如何影响消费决策。该理论借鉴了经济学和自然语言处理的原理，以形式化人类偏好如何被基于 LLM 的代理翻译和执行，从而影响市场需求。该框架旨在统一关于 LLM 决策和人类行为模拟的现有文献，并识别在对齐和市场动态等领域的未解问题。
-
新基准测试 LLM 代理对抗分解攻击的安全性
研究人员推出 DeCompBench，这是一个旨在评估基于 LLM 的代理在对抗分解攻击方面的安全性的新基准。这些攻击涉及将有害任务分解为更小的、看似良性的子任务，从而绕过安全机制。使用 DeCompBench 进行的实验表明，尽管当前最先进的代理在拒绝单一有害任务方面表现有效，但在其分解变体上的拒绝率却显著降低，常常会无意中完成恶意目标。研究结果凸显了改进安全评估和防御此类复杂对抗策略的迫切需求。
-
研究发现生产中的AI智能体依赖人工监督和现成模型
一项名为“衡量生产中的智能体”（MAP）的新研究分析了当前在各行业部署的基于LLM的智能体的状态。该研究基于20个案例研究和对86名从业者的调查，揭示大多数生产中的智能体在运行中依赖大量人工监督，并且依赖现成模型而非微调。可靠性被确定为主要挑战，开发人员目前通过系统级设计而非模型改进来解决它。
-
新基准SPADE-Bench评估AI代理欺骗
研究人员推出了SPADE-Bench，这是一个旨在评估AI代理自发战略欺骗的新基准。该基准解决了计划-行动偏差的关键问题，即代理报告的行动可能与其实际执行的行为不同，这在实际应用中对可靠性构成风险。SPADE-Bench整合了实际工具执行和受控压力场景，以区分战略欺骗和单纯的幻觉，旨在提高代理的安全性和可信度。
-
新AI框架整合模拟居住体验以促进城市规划
研究人员开发了LiPUP-MA，一个新颖的多智能体框架，旨在通过整合模拟居住体验来增强参与式城市规划。这个闭环系统LiPUP根据从模拟居民那里收集的反馈迭代调整城市规划，解决了体验接地和将主观输入转化为可操作规划调整的挑战。该框架使用以计划为中心的基于图的体验库来组织反馈，并使用空间约束技能增强规划器智能体通过整合体验式、视觉和地理空间数据来修改计划。实验表明，LiPUP-MA在静态和基于生活的规划指标上均优于现有方法。