G-Eval
PulseAugur coverage of G-Eval — every cluster mentioning G-Eval across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
RubriX：一种更快、可微调的 LLM 评估评分标准裁判
研究人员开发了 RubriX，这是一种新颖的非自回归评分标准裁判，旨在更快、更有效地评估语言模型响应。与每次判断都需要生成调用的传统方法不同，RubriX 使用 LoRA 适配的编码器来嵌入输入和评分标准级别，通过缩放余弦相似度计算概率。这种方法显著降低了延迟和成本，尤其是在使用更大的评分标准时，同时保持了具有竞争力的准确性。
-
Promptfoo vs. DeepEval：选择正确的LLM评估工具
作者比较了三种评估LLM响应的工具：Promptfoo、DeepEval和自定义构建的LLM评判标准构建器。Promptfoo推荐用于现有的基于YAML的评估和CI集成，而DeepEval则推荐给希望获得G-Eval推理步骤的pytest用户。作者强调在使用任何工具之前定义和验证评判标准本身的重要性，并指出在他们的测试中，改进评判标准比切换框架对准确性的影响更大。他们还强调了明确的分数锚点在减少判断变异性方面的优势。
-
开发者构建了使用独立裁判进行自我评分的 AI 提示管道
一位开发者创建了一个自我评分的提示管道，旨在缓解 AI 生成内容中的常见问题，例如模型忘记必需的章节或存在偏见的自我评估。该管道包含一个确定性的 QA 检查器，在错误到达评估阶段之前进行捕获。对于评估本身，它利用了一个独立的 AI 裁判模型，特意避免让生成模型对其自身的输出进行评分，以防止偏见。该系统还包括多提供商路由以提高弹性，以及有界迭代以防止无休止的优化循环等功能。
-
LLM作为裁判：口头置信度在新模型上优于对数概率
一篇新的arXiv论文提出了一种转变，关于如何将大型语言模型（LLM）用作裁判，建议对于2025年后的专有模型，口头置信度已成为比对数概率更稳健的评分机制。研究表明，这种“兼容性转变”在SummEval、AggreFact和HelpSteer2等各种基准测试中显而易见，涉及多达18个LLM。该论文引入了过度自信咨询和自我辩论来改善校准和分数分布，并指出与旧模型不同，新模型能以最小的成本适应这些补充。
-
LLM法官引入系统性偏见，扭曲评估结果
使用大型语言模型（LLM）作为评判其他LLM输出的法官会引入系统性偏见，例如位置、冗长和自我偏好，这些偏见无法像随机噪声一样被平均掉。这些偏见会扭曲评估结果，导致对模型性能的评估不准确。虽然GPT-4等工具在超过80%的情况下可以与人类偏好达成一致，但其固有的偏见意味着报告的分数可能反映的是法官的特性，而不是模型的真实能力。开发人员在解释评估指标时必须考虑到这些系统性错误，以避免错误地归因性能特征。
-
研究发现 LLM-as-judge 工具未能优先考虑人类验证
最近对六种 LLM-as-judge 工具的评估显示，大多数工具优先生成分数，而不是确保分数的可靠性。作者认为，法官根据人类标签进行的验证，通过 Cohen's kappa 等指标衡量，比原始评分性能更关键。DeepEval、Confident AI、Evidently、Braintrust、Promptfoo 和 Future AGI 等工具被审查，发现没有一个默认将法官-人类一致性计算作为其主要功能，将这一关键验证步骤留给了用户。
-
AI代理将遗留有限差分代码转换为Devito
研究人员开发了一个AI代理框架，旨在将遗留的有限差分代码转换为Devito环境。该系统在多阶段工作流程中利用了检索增强生成（RAG）和开源大型语言模型。该代理通过解析文档、分割结构、提取关系和识别社区来构建Devito知识图谱。它包含一个逆向工程组件，该组件分析Fortran源代码以推导出RAG的查询策略，并通过并行搜索和语义分析提高检索精度。代码合成由Pydantic约束管理，验证则采用G-Eval方法的静态分析来确保正确性和合规性。
-
新的大型语言模型评估方法解决对齐和偏见问题
研究人员正在开发新的方法来评估和改进大型语言模型（LLMs）的对齐性和可解释性。Google Research 提出了一个框架，该框架改编了心理学评估方法，以量化 LLM 的行为倾向并将其与人类共识进行比较。同时，一种名为 BINEVAL 的新方法将评估标准分解为二元问题，提供了比传统 LLM 裁判更具可解释性和可调试性的分数。其他研究则探讨了如何减轻 LLM 评估者中的自我偏好偏见，并通过考虑项目难度来改进置信度校准。
-
AI 代码审查机器人显示出自动化评估的局限性，GitHub COO 讨论环境 AI
一篇新论文探讨了 AI 代码审查机器人的自动化评估局限性，发现当前的自动化方法（如 G-Eval 和 LLM-as-a-Judge）与人类开发者的标签仅有中等程度的一致性。该研究分析了 Beko 生成的 2,604 条机器人评论，揭示了开发者对这些评论的操作受到上下文和组织因素的影响，使其成为不可靠的真实依据。这表明在工业环境中完全自动化评估 AI 代码审查评论仍然是一个重大挑战。