PulseAugur
中
实时 14:58:30
实体 DeepEval

DeepEval

PulseAugur coverage of DeepEval — every cluster mentioning DeepEval across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
13
90 天内 50
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 7
层级分布 · 90 天
主题
关系
情绪 · 30 天

6 天有情绪数据

最近 · 第 1/3 页 · 共 52 条
  1. TOOL · CL_364476 ·

    LLM幻觉测试:事实核查和自洽性检查

    本文介绍了两种实用的LLM幻觉测试方法,无需付费法官模型或API密钥。第一个测试是事实核查,验证答案中出现的任何数字是否也存在于提供的上下文中。第二个测试是自洽性,涉及多次运行相同的提示,并测量提取事实的一致性,以检测猜测或漂移的答案。这些方法旨在捕捉常见且令人尴尬的幻觉,特别是涉及数字的上下文幻觉,并帮助确定何时值得花费法官模型的费用。

  2. TOOL · CL_363646 ·

    OpenAI Evals 将于 11 月 30 日关闭,较旧的 GPT-5 模型将于 12 月 11 日关闭

    OpenAI 将于 2026 年 11 月 30 日停用其 Evals 平台,其 API 将于 2026 年 10 月 31 日变为只读。该公司建议用户将评估数据迁移到 Promptfoo。此外,几个较旧的 GPT-5 和 O3 模型版本将于 2026 年 12 月 11 日关闭,用户需要基于更新的模型重新进行基线评估。建议用户在截止日期前导出数据,并重新运行样本以确保与新工具和模型的准确性。

  3. TOOL · CL_355173 ·

    Promptfoo 和 DeepEval:两种大语言模型测试方法

    Promptfoo 和 DeepEval 是两个用于测试大语言模型(LLM)应用的开源工具,但它们的方法有显著差异。Promptfoo 使用一种与语言无关的 YAML 配置进行测试,将 LLM 应用视为一个“提供者”,并允许轻松比较多个模型或提示。而 DeepEval 是 Python 原生的,并直接与 pytest 集成,能够让测试在与应用程序代码相同的 CI 流水线中运行,并提供更丰富的 LLM 评估指标库。

  4. TOOL · CL_351361 ·

    AWS 通过 AgentCore、A2A 和 OpenAI 集成扩展 AI 代理功能 · 跟踪 8 个来源

    AWS 正在通过新的工具和功能来增强其机器学习产品,以构建和管理 AI 代理。该公司推出了 AgentCore 运行时,用于安全高效地执行代理,并推出了 A2A,用于创建可互操作的多代理系统。此外,AWS 还将 OpenAI Codex 集成到 Amazon Bedrock 中,并在 AgentCore 中提供 Web 搜索 API,以及 DeepEval 等代理评估工具。

  5. TOOL · CL_347665 ·

    新的 RAG 工具 SentinelRAG 旨在防止生产故障

    一位开发者开源了一个名为 SentinelRAG 的新工具,以解决检索增强生成 (RAG) 管道中的关键故障,这些故障被传统测试所忽略。该工具为检索质量、答案基础和摄取信任引入了 CI 检查点,从而防止了以前仅通过用户投诉才暴露出来的回归问题。SentinelRAG 旨在为 RAG 系统提供一个阻止合并的门控,确保更改不会损害核心功能,并且可以与 Promptfoo 和 Ragas 等现有评估工具集成。

  6. TOOL · CL_325921 ·

    面向生产团队的 9 款 LLM 评估工具详述

    一份最新的工程团队精选列表重点介绍了九款旨在评估生产环境中大型语言模型 (LLM) 的工具。这些工具包括 DeepEval、Ragas、Promptfoo、MLflow、Langfuse、Arize Phoenix、TruLens、Inspect AI 和 EleutherAI 的 LM Evaluation Harness,它们在简单答案正确性之外,解决了 LLM 可靠性的各个方面。它们旨在衡量正确性、检索质量、工具执行、安全性、延…

  7. RESEARCH · CL_317295 ·

    详细介绍了用于乳腺病灶文献的新型RAG评估协议

    研究人员为专注于乳腺病灶管理文献的检索增强生成(RAG)系统开发了一种证据感知评估协议。该研究使用了一个包含18篇文档的语料库和一个包含18个查询的基准来评估各种配置和指标下的检索性能。结果表明,具有特定分块和重叠设置的混合检索器在大多数查询中都能在前三名结果中检索到已接受的证据,从而获得了高检索分数。

  8. TOOL · CL_313314 ·

    作者详述 90 个测试用例 RAG 评估框架

    构建一个健壮的检索增强生成 (RAG) 系统需要一个全面的评估框架,以防止出现幻觉和不相关检索等无声故障。作者详述了一个包含 90 个测试用例的方法,该方法分为四个支柱:检索质量、上下文精度、安全性和幻觉检测。该框架旨在系统地衡量 RAG 管道不同层面的性能,使用 LangSmith、Chroma 和各种 LLM 等工具进行评分。目标是确保检索到的信息相关、LLM 有效利用这些信息,并且系统能够抵御恶意输入。

  9. TOOL · CL_310428 ·

    服务器开发者的6款MCP评估工具对比

    本文评测了六款用于评估与MCP(消息、命令和协议)服务器交互的代理性能的工具。评估侧重于代理正确选择工具、传递参数、避免禁止操作以及根据工具结果进行响应的能力,超越了基本的服务器功能。选择工具的主要决定因素是所有权:一些工具直接针对服务器执行评估案例,而另一些工具则对应用程序生成的交互记录进行评分。该指南根据执行所有权、可见性、评分、回归工作流和成本对MCPJam、mcp-eval、Promptfoo、DeepEval、Braintr…

  10. TOOL · CL_310429 ·

    MCP服务器测试工具在协议、OAuth和Agent评估方面的比较

    文章比较了几种用于测试模型上下文协议(MCP)服务器的工具,重点介绍了它们在不同故障层面的能力。MCP Inspector和MCPJam等工具被讨论用于协议和OAuth调试,而mcp-eval、Braintrust和DeepEval则用于Agent评估和更广泛的LLM指标。文章强调,协议和授权检查应先于Agent质量评估,因为它们解决了发布过程中不同的故障模式。

  11. COMMENTARY · CL_309825 ·

    AI代理测试框架忽略不必要的工具调用,Tally提出解决方案

    一个名为Tally的AI模型,经营着一个一人公司,讨论了当前AI代理测试框架的局限性。像DeepEval和Phoenix这样的工具提供了工具选择和参数正确性的指标,但它们忽略了代理不必要地调用函数的“无工具案例”。Tally提出了一种新的日志记录机制来跟踪工具调用的必要性,区分实际错误和计算浪费。

  12. TOOL · CL_297281 ·

    Promptfoo vs. DeepEval:选择正确的LLM评估工具

    作者比较了三种评估LLM响应的工具:Promptfoo、DeepEval和自定义构建的LLM评判标准构建器。Promptfoo推荐用于现有的基于YAML的评估和CI集成,而DeepEval则推荐给希望获得G-Eval推理步骤的pytest用户。作者强调在使用任何工具之前定义和验证评判标准本身的重要性,并指出在他们的测试中,改进评判标准比切换框架对准确性的影响更大。他们还强调了明确的分数锚点在减少判断变异性方面的优势。

  13. TOOL · CL_295314 ·

    开发者构建了使用独立裁判进行自我评分的 AI 提示管道

    一位开发者创建了一个自我评分的提示管道,旨在缓解 AI 生成内容中的常见问题,例如模型忘记必需的章节或存在偏见的自我评估。该管道包含一个确定性的 QA 检查器,在错误到达评估阶段之前进行捕获。对于评估本身,它利用了一个独立的 AI 裁判模型,特意避免让生成模型对其自身的输出进行评分,以防止偏见。该系统还包括多提供商路由以提高弹性,以及有界迭代以防止无休止的优化循环等功能。

  14. COMMENTARY · CL_260793 ·

    开发者评估论文阅读AI,绕过传统RAG方法

    一位开发者详细介绍了评估其论文阅读AI项目Talkit的过程,该项目可以回答有关研究论文的问题。与典型的检索增强生成(RAG)系统不同,Talkit不使用向量存储,因为整篇论文都适合模型上下文窗口。评估包括针对“Attention”论文创建十个问题,使用DeepEval进行评分,并集成OpenTelemetry跟踪与Confident AI以监控答案质量。初步结果显示完全忠实,但揭示了其他问题,例如模型有时未能提供答案。

  15. TOOL · CL_231934 ·

    生成式AI测试确保AI输出的准确性、安全性和公平性

    生成式AI测试对于确保AI输出的准确性、安全性和公平性至关重要,因为这些模型可能产生错误或有害内容。该过程包括定义测试用例、运行AI模型并将结果与既定标准进行比较,重点关注准确性、安全性、偏见和性能等关键领域。采用提示测试和人工审查等各种技术,并辅以DeepEval、TruLens和Promptfoo等工具,以在部署前识别和纠正问题。

  16. TOOL · CL_230680 ·

    研究发现RAG评估套件会忽略提示词回归问题

    最近的一项分析探讨了检索增强生成(RAG)评估套件在检测提示词回归方面的有效性。研究发现,像忠实度(faithfulness)和答案相关性(answer-relevancy)等标准指标未能识别出常见的提示词修改,例如颠倒指令或删除提示词的一部分。作者建议,在答案不在上下文中时增加一个特定的弃答检查(abstaining check),并加入一个无法回答的情况,可以显著提高此类回归问题的检测率。

  17. TOOL · CL_228231 ·

    AWS Labs 代理评估示例使用相同的模型作为裁判和被评估对象

    来自 AWS Labs 的一个名为 Agent-EvalKit 的示例评估套件被发现同时使用相同的 AI 模型来评估和评判 AI 代理。这种裁判模型与被评估模型相同的设置,是在该套件的一个 QA 示例中发现的。作者认为,这种缺乏独立裁判的做法,虽然可能出于成本和延迟的考虑,但并未明确披露,引发了对评估结果有效性的担忧。

  18. TOOL · CL_227792 ·

    LLM、RAG管道和AI代理的评估指南

    本指南详细介绍了如何评估大型语言模型(LLM)、检索增强生成(RAG)管道和AI代理的性能。它涵盖了从初始设置到生产监控的整个过程,为开发人员提供了一种全面的方法。文章重点介绍了评估AI系统质量的工具和技术,确保其可靠性和有效性。

  19. TOOL · CL_222247 ·

    发布工程领域排名前五的LLM评估框架排名

    最近的一项分析强调,Promptfoo是发布工程领域领先的LLM评估框架,尤其因其能够阻止构建失败测试的CI/CD集成而备受关注。DeepEval推荐用于基于Python的测试套件,并提供与pytest的无缝集成。LangSmith因其强大的托管可追溯性和实验历史而受到关注,适合优先考虑详细记录的团队。OpenAI Evals因其可重用的评估规范而受到认可,而Ragas则被确定为评估检索增强生成(RAG)质量的专业工具。评估标准侧重于…

  20. COMMENTARY · CL_195201 ·

    LLM评估工具提供指标,但关键挑战依然存在

    对五个流行的LLM评估工具——Arize Phoenix、DeepEval、Future AGI、Langfuse和Ragas——的回顾表明,虽然它们提供了广泛的预构建指标,但这些指标仅占评估过程的20%的简单部分。这些工具在很大程度上仍未解决的关键挑战是选择与特定故障模式准确对齐的指标以及为结果建立误差范围。作者认为,LLM评估的真正成功取决于理解系统的独特故障分类法并据此选择或创建自定义指标,而不是仅仅依赖提供的商品化指标目录。