MT-bench-101: a fine-grained benchmark for evaluating large language models in multi-turn dialogues
PulseAugur coverage of MT-bench-101: a fine-grained benchmark for evaluating large language models in multi-turn dialogues — every cluster mentioning MT-bench-101: a fine-grained benchmark for evaluating large language models in multi-turn dialogues across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
新的LLM解码技术ELIDE在语义保持方面存在困难
研究人员探索了在不牺牲语义内容的情况下减少大型语言模型冗余的方法。最初使用熵门控logits处理器的方法被证明无效,仅仅截断了输出。一种名为蕴含许可的解码内省略(ELIDE)的新技术被引入,该技术根据自然语言推理模型判断,选择性地移除被前文蕴含的句子。虽然ELIDE相比简单截断有所改进,但人工审查显示,其省略的相当一部分仍然对答案的质量产生了负面影响。
-
AI模型分数因评估框架而异,波动剧烈
一项最新研究强调,所使用的评估框架会显著影响对AI模型性能的感知。NVIDIA自己的数据显示,仅评估框架的选择就可能导致分数出现8个点的波动。此外,一项涉及超过52,000次运行的大规模研究表明,根据所采用的评估方法不同,AI模型的排名可能会完全颠倒。
-
研究发现:LLM裁判表现出高度一致性但有效性存疑
最近的一篇预印本论文指出了LLM评估中的一个关键问题:裁判模型可能表现出很高的重测信度,但同时可能存在偏见。Qwen 3 8B在MT-Bench上几乎完美地复现分数,同时存在显著的位置偏见,就证明了这一点。ACL研讨会的进一步研究表明,尽管LLM裁判在原始一致性上可能与人类标签高度一致,但经过机会校正的分数揭示了有效性上的显著差异,一些裁判表现出宽容和位置偏见。这些发现强调了在评估循环中纳入人类真实情况的重要性,因为简单的信度指标可能…
-
LLM-as-a-Judge 系统在评估中表现出显著的位置偏见
最近对 LLM-as-a-Judge 系统的评估揭示了显著的位置偏见,模型判决受答案呈现顺序的影响,而非质量。在一项实验中,仅仅交换两个答案的位置就翻转了 300 个判决中的 87 个,其中大部分翻转偏向于放在第一个位置的答案。这种偏见在势均力敌的情况下尤为明显,此时位置充当了决胜因素。为缓解此问题,研究人员建议将每对答案以两种可能顺序进行评估,并且仅在两次评估都一致时才计为获胜,将分歧视为平局。
-
DuplexTune框架为MoE语言模型提供内存高效的适应性
研究人员开发了DuplexTune,一个旨在提高专家混合(MoE)语言模型适应性内存效率的新框架。该方法通过重放耦合的隐藏状态通过预训练模块,显著降低了与传统监督微调相比的峰值内存使用量。虽然DuplexTune在MMLU和GSM8K等基准测试中表现出竞争力,但它在内存效率、适应性质量和吞吐量之间存在权衡,尤其影响多语言分数。
-
LLM 法官可能存在偏见;新方法提高评估准确性
使用大型语言模型(LLM)作为法官来评估其他模型的输出来评估其他模型的输出,这种技术被称为 LLM-as-a-Judge,虽然具有可扩展性,但也引入了潜在的偏见。论文《Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena》中强调的研究指出了诸如位置偏见(答案的顺序会影响判断)和冗长偏见(无论质量如何都偏爱更长的答案)等问题。为了缓解这些问题,建议定义具体的评估标准、提供直接证据并…
-
FewHumans库提高了大语言模型裁判的可靠性并降低了人工标注成本
一个名为FewHumans的新库已被开发出来,以解决大语言模型裁判在评估AI模型输出时不可靠的问题。这些裁判通常会高估自己的准确性,在大多数测试案例中,仅裁判的置信区间都未能包含真实的人工验证值。FewHumans旨在通过智能地选择人类应标注的数据点、结合人类和LLM的判断,并提供统计上可靠的置信区间来改进这一点,从而在提高准确性的同时减少对广泛人工标注的需求。
-
LLM裁判存在偏见;这里有3种修复方法
基于LLM的裁判虽然在评估AI模型性能方面很有用,但可能表现出位置、冗长和自我偏好等偏见,导致评估不准确。为了减轻这些问题,开发人员可以实施策略,例如运行两次交换答案的成对比较来检测位置偏见,使用详细的评分标准进行通过/失败决策以对抗冗长偏见,并将LLM裁判的输出与人工标记数据进行比较以确保准确性。这些方法有助于确保LLM裁判衡量的是预期的标准,而不是被回应的表面特征所左右。
-
研究表明,AI评分器的准确性取决于经过验证的答案键
对77项关于AI评分系统的研究进行的审查显示,其可靠性在很大程度上取决于提供的答案键的质量。如果没有经过验证的参考答案,AI评分器倾向于将不正确的回答标记为正确,尤其是在复杂问题上。研究表明,提供经过验证的答案键(最好是经过人工检查的)可以显著提高评分准确性,特别是对于AI本身难以回答的问题。如果答案键存在细微错误或未经验证由AI生成,其有效性会降低。
-
LLM 后训练技术通过新的蒸馏和优化方法取得进展
LLM 后训练技术近期取得了进展,重点关注参数高效微调、偏好优化和蒸馏。DIAL-OPD 等新方法在蒸馏中展示了从更少 token 中学习能力的提高,而 LSC-DPO 则为直接偏好优化提供了一种学习信号控制的方法。此外,对 Group Policy Optimization (GRPO) 的研究已识别出故障模式并提出了解决方案,GRPO 也被应用于生产 OCR 任务。
-
新方法通过连续和受控的偏好信号改进LLM优化 · 跟踪2个来源
两篇新的研究论文介绍了使用偏好数据优化大型语言模型的先进方法。第一种方法,连续效用直接偏好优化(CU-DPO),超越了二元偏好,使用连续分数来捕捉细粒度的推理质量,从而在数学推理和代码生成方面取得了显著改进。第二种方法,学习信号控制的直接偏好优化(LSC-DPO),通过动态调节学习信号来增强敏感性和稳定性,改进了标准的直接偏好优化(DPO),并在各种基准测试中显示出比现有基线一致的改进。
-
LLM 裁判可提供可扩展的 AI 输出评估,并与人类评估高度一致
大型语言模型(LLM)可以充当裁判,评估其他 AI 模型的输出,并与人类评估者达成高度一致。该方法为评估 AI 在准确性、语气和安全性等各种标准下的性能提供了可扩展的解决方案。虽然位置偏差、自我增强和冗长等偏差会影响 LLM 裁判,但随机化模型身份和提供少样本示例等技术可以缓解这些问题,从而实现自动化的质量控制流程。
-
新的 AI 对齐方法提高了效率和多维控制 · 跟踪 3 个来源
研究人员正在开发新的方法来使 AI 模型与人类偏好对齐,旨在提高效率和性能。一种方法 DSPA 使用推理时引导,根据提示进行对齐,在计算量更少的情况下有望改进 MT-Bench 和 AlpacaEval 等基准测试。另一种方法 DP3O 通过首先学习显式偏好模型,然后蒸馏其知识来解决离线和迭代对齐之间的差距,其性能优于最先进的离线方法并减少了训练时间。此外,MCDPO 通过对奖励本身进行条件化来解决标准 DPO 在扩散模型上的局限性,…
-
新框架AlignDiff提升LLM对齐数据质量
研究人员开发了AlignDiff,一个旨在提高用于对齐大型语言模型(LLM)的偏好数据质量的新框架。该框架通过利用内在模型信号以及正向和反向信号之间的差距来识别和优先处理具有挑战性的样本。在LLaMA和Qwen模型上,跨AlpacaEval 2.0、Arena-Hard和MT-Bench等基准的评估表明,AlignDiff的表现持续优于现有基线,并且通过基于难度的课程学习进一步提高了性能。
-
LLM评判者在评估任务中表现出偏见和漏洞 · 追踪4个来源
近期研究强调了大型语言模型(LLM)评判者中存在的显著偏见和漏洞,这些评判者越来越多地被用于评估AI输出。研究表明,这些评判者容易受到模型提取攻击,其评判能力可以在不同评估协议下被高精度地复制。此外,LLM评判者表现出锚定效应偏见,即先前的分数会系统性地影响后续的判断,从而损害评估的独立性。即使在被提示考虑变化或忽略元数据的情况下,这些偏见仍然存在,影响了代码评估和其他任务的可靠性。
-
AI开发流程中模型生成组件的比例日益增加
AI开发流程正日益从人类创建的组件转向模型生成的组件。自2022年以来,奖励信号、训练数据生成和教师模型等阶段已变得合成化。最新的进展是课程阶段,模型可以决定自己的学习路径和任务,有效地成为自己的研究者。这一趋势表明,未来AI系统将很大程度上实现自我改进,人类在核心开发过程中的作用将变得不那么关键。
-
新的防御机制“Tripwire”保护大型语言模型免受越狱攻击
研究人员开发了一种名为 Tripwire 的新防御机制,以保护大型语言模型 (LLM) 免受越狱攻击。该方法通过统计假设检验和效用特异性过滤器识别出安全相关的神经元。然后,Tripwire 将这些识别出的神经元固定到其有害条件下的平均激活值,从而触发模型已学习到的拒绝行为,而不会显著影响其效用。实验表明,Tripwire 将攻击成功率降低到最高 2.0%,同时在 MT-Bench 等基准测试中仅导致性能略有下降。
-
研究发现:LLM作为裁判的评估在缺乏人类依据时存在缺陷
一篇题为“没有免费标签:LLM作为裁判在缺乏人类依据时的局限性”的新研究论文,重点指出了使用大型语言模型(LLMs)评估其他LLMs时存在的重大局限性,尤其是在需要事实准确性的领域。该研究引入了商业和金融基础知识基准(BFF-Bench),这是一个包含160个问题和专家评估答案的数据集。研究结果表明,只有当LLM裁判自己能够正确回答问题时,它们与人类专家的意见才高度一致。为LLM裁判提供专家撰写的参考资料在很大程度上缓解了这个问题,这…
-
LLM-as-a-Judge:使用AI评估AI输出
“LLM-as-a-Judge”技术利用大型语言模型来评估其他模型的输出,解决了AI开发中性能评估的瓶颈。这种方法充当了人类判断的可扩展且可解释的代理,在缓慢、昂贵的人类评估与BLEU和ROUGE等准确性较低的传统指标之间取得了折衷。研究人员开发了MT-bench和Chatbot Arena等基准和平台来正式化和实施这种方法,该方法现在已成为AI评估武器库中的常用工具。
-
研究发现,用于AI评估的LLM裁判存在缺陷
使用LLM作为评估其他LLM的自动化裁判存在重大问题,因为它们的准确性检查可能无法反映真实性能。这个问题之所以出现,是因为自动化审阅者本身的质量尚未得到充分评估。因此,像GPT-4、Claude 3和Gemini这样的模型在这些有缺陷的评估中可能表现良好,从而掩盖了潜在的不足。