deep research agents
PulseAugur coverage of deep research agents — every cluster mentioning deep research agents across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的DualStake方法提高了AI研究代理的置信度校准
研究人员开发了DualStake，一种提高深度研究代理置信度分数可靠性的新方法。这些代理用于知识密集型任务，常常表现出过度自信，这会损害用户信任。DualStake通过双路径奖励系统校准证据置信度（E-Conf）和答案置信度（A-Conf）来解决这个问题。在各种Qwen模型上的实验表明，DualStake在不影响准确性的情况下提高了校准效果。
-
深度研究代理将复杂问题转化为可信答案
本文探讨了深度研究代理的概念，旨在将复杂问题转化为可靠答案。文章深入介绍了这些代理的工作原理及其在增强信息检索和分析方面的潜力。
-
新基准SciHazard衡量大型语言模型科学安全风险
研究人员推出了一款名为SciHazard的新基准，旨在评估大型语言模型（LLMs）在科学领域相关的安全风险。该基准包含12个学科的2400个危险问题和600个过度安全问题，这些问题基于现实世界的危险和已记录的失败场景。SciHazard采用一种名为DeHarm-Score的分解伤害评分方法，该方法评估查询的严重性、拒绝行为以及响应级别的风险，包括可执行性和净新风险。初步评估表明，深度研究代理比标准LLMs带来更大的安全风险，这凸显了当…
-
新的WorldCupArena基准评估AI足球预测能力
一个名为WorldCupArena的新基准已被引入，用于评估语言模型和深度研究代理在预测足球（soccer）比赛方面的能力。该基准使用2026年FIFA世界杯作为其初始测试案例，要求模型在比赛开始前和比赛期间对比赛结果、比分、球员表现和比赛结果进行预测。虽然表现最佳的系统在预测确切结果方面仅比博彩市场和人类球迷有微小的改进，但它们在预测比分和详细比赛统计数据方面显示出更明显的优势。WorldCupArena框架旨在可重用于未来的体育赛…
-
AI诈骗威胁400亿美元；AI色情化应用从应用商店下架
本周网络安全精选包括：关于AI诈骗可能每年给美国人造成400亿美元损失的警告，以及发现深度研究代理可以通过用户生成内容被泄露。此外，苹果和谷歌已被勒令下架AI色情化应用，并已提起诉讼，指控苹果的“隐藏我的电子邮件”功能存在缺陷。
-
研究代理使用问题分解进行复杂的业务分析
深度研究代理可以通过首先将复杂的业务问题分解为集中的、可搜索的子问题来有效解决这些问题。这种分解使代理能够系统地收集和评估各个领域的信息，例如市场规模、客户需求、监管要求、基础设施成本、竞争压力和定价。通过创建结构化的研究计划并结合研究结果，这些代理可以生成更可靠、更值得信赖的答案，同时也更容易识别和解决任何缺失的证据。
-
新的DR-Arena框架自动化LLM代理评估
研究人员开发了DR-Arena，一个旨在评估深度研究代理能力的自动化评估框架。深度研究代理是能够进行自主调查的高级大型语言模型。与静态基准测试不同，DR-Arena利用当前网络趋势的实时信息来创建动态任务，以测试深度推理和广泛覆盖范围。该框架采用自适应系统，根据代理性能升级任务复杂度，旨在识别能力边界。实验表明，DR-Arena与人类偏好高度一致，与LMSYS Search Arena排行榜实现了0.94的Spearman相关性，为手…
-
新研究表明13个词即可通过用户内容毒害LLM
一篇新研究论文详细介绍了一种通过微妙地改变用户生成内容来毒害大型语言模型（LLM）的方法。研究表明，仅13个词就足以损害模型的完整性，对AI安全性和可靠性构成重大威胁。
-
研究论文揭示用户生成内容可投毒深度研究AI代理
一项新的研究论文详细介绍了一种深度研究代理的漏洞，该代理可能通过用户生成的内容受到损害。该研究可在arXiv上找到，探讨了恶意输入如何能够投毒这些AI系统。这一发现引发了对当前AI发展状况和炒作的质疑。
-
研究论文警告“搜索时污染”会夸大AI代理基准测试结果
一篇新研究论文指出了深度研究代理中存在的一个问题，称为搜索时污染（STC），这些代理在评估中使用网络搜索。当代理从网络检索基准元数据、问题上下文或答案时，就会发生这种污染，从而人为地夸大了它们的性能。研究发现STC可以将性能夸大高达4%，并提倡采用防污染的评估实践，例如隔离的沙箱和受控的基准访问。
-
新基准揭示LLM法官在研究代理方面不可靠
研究人员开发了一个名为REFLECT的新基准，用于评估大型语言模型（LLM）作为深度研究代理的法官时的可靠性。这些代理可以自动化复杂的搜集信息任务，其输出需要可扩展的评估，通常依赖LLM法官来判断准确性和推理质量。然而，当前的LLM法官表现出显著的不可靠性，顶级模型在评估推理、工具使用和报告质量方面的准确率不到55%，尤其在证据核实方面存在困难。REFLECT基准提供了详细的失败模式分类，并通过对代理执行轨迹进行受控干预，创建可验证的…