Evals
PulseAugur coverage of Evals — every cluster mentioning Evals across labs, papers, and developer communities, ranked by signal.
- 2026-10-27 product_launch OpenAI's hosted Evals platform is being deprecated. 来源
5 天有情绪数据
-
AI 评估：超越简单输出检查来衡量 AI 性能
AI 评估（或称“evals”）对于超越简单的输出检查来评估 AI 系统性能至关重要。它们涉及定义具体期望，例如生成具有精确副本数量的配置或仅根据提供的文本进行回答。评估会根据这些标准测试 AI，记录其操作，并根据成功指标进行检查，得分代表此过程的结果。这种方法对于理解 AI 系统是否满足项目要求或通用基准至关重要，它区分了记录的交互与实际的系统状态或行为。
-
LLM Agent 在生产环境中失败；追踪是修复它们的关键
生产环境揭示了 LLM Agent 的故障，而这些故障常常被合成评估所忽略。诸如无限工具循环、失控链以及隐藏重试导致的延迟峰值等问题在实际部署中很常见。全面的追踪，能够捕获完整的推理链和工具使用情况，对于诊断这些复杂的故障至关重要，而这些故障是孤立的日志或标准评估无法检测到的。
-
OpenAI Evals 服务将关闭；敦促用户迁移
OpenAI 将停用其 Evals 服务，只读访问将于 10 月 31 日结束，完全无法访问将于 11 月 30 日结束。Agent Builder 和 v1/prompts API 也将于后者日期停用。建议用户将他们的 evals 迁移到 Promptfoo，导出结果，或通过 Evals API 检索数据以重建测试。作者介绍了 LLMShift，这是一个旨在帮助用户导出其 OpenAI Evals 并针对任何 LLM（包括来自 An…
-
OpenAI 将于 2026 年 11 月弃用托管 Evals 平台
OpenAI 将弃用其托管 Evals 平台，现有评估将于 2026 年 10 月 31 日变为只读，仪表板和 API 将于 2026 年 11 月 30 日完全关闭。建议用户在此日期之前导出其评估定义、测试项、运行配置和过往结果。开源的 `openai/evals` 仓库和 `promptfoo` 工具被建议作为迁移路径，尽管两者都需要手动配置评估。
-
AI代理使用自定义BLEU分数学习术语
作者详细介绍了如何创建一个小型AI代理来学习和使用特定术语。该代理使用LangChain和Python等工具开发，并接受了使用BLEU分数评估自身性能的训练。代理的过程包括将分数保存到内存中，然后将其平均到其响应中，即使结果不正确。
-
新的三层评估设置凸显了 LLM 生产问题
提出了一种三层评估设置，以弥合 LLM 在测试环境中的性能与其在实际应用中的性能之间的差距。该方法强调离线基准分数仅仅是假设，而生产日志提供了实际的实验数据。该系统旨在识别和解决 LLM 从受控评估过渡到实时生产场景时出现的问题。
-
OpenAI 提供多种代理开发选项，控制级别各不相同
OpenAI 为开发代理应用程序的开发者提供了几种选项，每种选项在代理循环的控制级别上有所不同。Responses API 要求开发者完全管理循环，自行处理工具执行和状态管理。Agents SDK 在应用程序内提供了一个运行器来管理循环，但开发者仍负责部署、工具实现和状态存储。Agents API 目前处于公开测试阶段，它将循环管理、会话处理和上下文压缩的负担转移给了 OpenAI，简化了希望由 OpenAI 管理这些方面的用户的开发工作。
-
AI工程师就业市场要求超越基础路线图的高级技能
AI工程师的就业市场正在迅速扩张，拥有AI技能的职位增长速度远超整体就业市场，并且薪资更高。然而，一个侧重于RAG和Agents等热门词汇的通用路线图可能不足以满足入门级候选人的需求。相反，市场越来越倾向于那些在评估、系统设计和部署等领域展示出高级技能，并拥有真实项目强大作品集的候选人。这种转变表明，市场对专业化、需要大量判断力的专业知识的需求日益增长，而不仅仅是基础知识。
-
Skybridge v2 推出新的 MCP 协议及 Evals 测试框架
Skybridge 发布了 2.0 版本，引入了新的 MCP 协议，该协议经历了重大更改，包括变为无状态并移除了会话 ID。此次更新需要重建服务器架构，从单个 McpServer 实例转向为每个请求实例化新服务器的工厂模式。一个关键的新功能是 Evals，这是一个测试框架，旨在允许开发人员定义和执行涉及 LLM 的测试，以确保他们的应用程序在部署前正常运行。
-
Claude Code 推出技能管理工具以提高 AI 效率
团队正在采用新的策略来管理 AI 技能，重点关注效率和成本效益。Claude Code 推出的 '/skill-doctor' 是一项关键进展，它可以识别未使用或成本高昂的技能，使团队能够对其进行修剪。这补充了将技能存储在 Git 存储库中、将其范围限定在特定工作流以及使用 AI 评估进行测试等实践，最终目标是减少 token 使用量并为团队建立一致的基线性能。
-
AI代理的评估需要新鲜数据和多层测试
确保AI代理在生产环境中的可靠性需要超越简单评分的强大评估方法。作者强调了数据集新鲜度的关键重要性，并警告说静态数据集可能导致代理记住示例而不是真正改进。提出了三个评估层级：用于格式验证的结构断言、用于针对明确标准进行语义分析的 judge LLM，以及用于全面测试的包含人工策划输出的黄金数据集。黄金数据集的持续更新对于反映实际使用情况和防止评估沦为一种形式至关重要。
-
LLM 评估集成到 .NET CI/CD 流水线中作为发布门禁
将评估工具集成到 .NET CI/CD 流水线中，可以作为 LLM 变更的发布门禁，有助于在部署前自动检测回归、安全违规和成本飙升。一个实际案例涉及一个从 GPT-3.5 Turbo 升级到 GPT-4-preview 的金融科技策略机器人，评估门禁成功捕获了一个安全回归问题，即机器人重复了一个占位符策略编号，导致自动回滚。工程师在实施这些门禁时，必须仔细权衡速度、成本和置信度之间的权衡，避免常见的错误，如忽略 token 成本或硬编码阈值。
-
LLM学习路线图：构建机器人、知识助手和顾问
本指南概述了通过实践项目学习生成式AI和LLM工程的实用路线图。建议从构建一个潜在客户分类机器人开始，以理解LLM API和提示工程，然后使用检索增强生成（RAG）来整合外部数据，创建一个公司知识助手。最后一步是通过开发一个医疗顾问来学习微调技术，重点是数据集准备和模型适应。
-
Figma 招聘 AI Models 设计负责人，招募设计推断岗位
Figma 聘请了 Elou，他将领导 AI Models 团队的设计工作。该团队正在积极招聘专注于 evals、judge 和 rubric 开发的岗位，以使 AI 模型能够推断设计元素。此次招聘活动凸显了该团队在构建设计生成和评估模型方面的重点。
-
发布工程领域排名前五的LLM评估框架排名
最近的一项分析强调，Promptfoo是发布工程领域领先的LLM评估框架，尤其因其能够阻止构建失败测试的CI/CD集成而备受关注。DeepEval推荐用于基于Python的测试套件，并提供与pytest的无缝集成。LangSmith因其强大的托管可追溯性和实验历史而受到关注，适合优先考虑详细记录的团队。OpenAI Evals因其可重用的评估规范而受到认可，而Ragas则被确定为评估检索增强生成（RAG）质量的专业工具。评估标准侧重于…
-
AI 供应商 Anthropic、OpenAI 因未宣布的工具关闭而面临用户数据丢失风险
两大 AI 供应商 Anthropic 和 OpenAI 正在逐步淘汰关键的 Prompt 管理和评估工具，但缺乏明确的弃用警告对用户构成了重大风险。Anthropic 更新后的 Workbench 将不支持已保存的 Prompt、变量或评估，如果未导出，数据可能在 8 月 17 日后丢失。OpenAI 的 Evals 工具将在 10 月 31 日变为只读模式，之后完全关闭，这可能会在停止记录结果之前掩盖问题。一个关键发现是，两家供应…
-
AI测试人员抵制传统标签，采用“验证工程”
据报道，AI专业人士正在避免使用传统的测试术语，选择诸如“evals”或“validation engineering”之类的术语，而不是“testers”或“QA/QE”。这种语言上的转变表明了将AI测试视为一个独立学科的愿望，尽管文章认为它与嵌入式设备测试中长期以来处理非确定性结果的既有实践有相似之处。
-
Supabase 发布开源基准测试，用于评估 AI 编码代理 · 跟踪 2 个来源
Supabase 发布了一个名为 Evals 的开源基准测试和框架，用于评估 AI 编码代理。该工具在真实的 Supabase 任务（如模式创建和调试）上测试 Claude Code、Codex 和 OpenCode 等代理，并使用容器化环境进行现实测试。初步发现表明，虽然 Opus 5 和 Kimi K3 等顶级模型在没有帮助的情况下表现良好，但较小的模型在获得专业技能后会显著提高，并且所有代理在处理迁移和身份验证验证方面都显示出弱点。
-
LLM法官引入系统性偏见，扭曲评估结果
使用大型语言模型（LLM）作为评判其他LLM输出的法官会引入系统性偏见，例如位置、冗长和自我偏好，这些偏见无法像随机噪声一样被平均掉。这些偏见会扭曲评估结果，导致对模型性能的评估不准确。虽然GPT-4等工具在超过80%的情况下可以与人类偏好达成一致，但其固有的偏见意味着报告的分数可能反映的是法官的特性，而不是模型的真实能力。开发人员在解释评估指标时必须考虑到这些系统性错误，以避免错误地归因性能特征。
-
新的AI工具旨在提高代理的可靠性和开发者的控制力
Agnost AI 推出了旨在识别和修复在真实生产环境中发生的AI代理故障的工具，这些故障常常被Evals等传统测试方法所忽略。该平台分析实时用户数据以精确定位问题，并自动生成代码建议供开发者实施修复，从而为AI代理优化创建了一个闭环。另外，Juggler 为AI编码代理提供了一个可视化界面，打破了线性的聊天交互模式，转变为一种树状结构，使开发者能够更精确地控制和深入了解AI的编码过程。