McNemar tests
PulseAugur coverage of McNemar tests — every cluster mentioning McNemar tests across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的ExecRetrieval基准揭示了代码检索中的功能正确性差距
引入了一个名为ExecRetrieval的新基准来衡量代码检索系统的功能正确性。该基准包含939个Python任务，每个任务都有一个正确的实现和多达四个执行验证过的、与正确代码几乎相同的错误变体。对23种密集嵌入配置和BM25的评估表明，虽然顶级系统在10个项目（exec@10 = 1.00）时实现了高召回率，但它们在1个项目（exec@1 = 0.331）时的召回率显著降低，大多数排名第一的遗漏是错误的干扰项。
-
新的RAG评估方法在土耳其语和领域特定数据方面出现 · 追踪4个来源
研究人员正在开发新的方法来评估和改进检索增强生成（RAG）系统。一项研究比较了土耳其语RAG的不同分块和嵌入策略，发现对于包含表格的文档，布局感知分块最有效，而特定语言的嵌入模型并未提供显著优势。另一篇论文介绍了一个统一的贝叶斯框架，称为The RAT，用于联合建模检索成功率、弃权和答案正确性，揭示了在边际指标上看似相似的RAG系统之间的行为差异。第三种方法TRIAD自动化了用于RAG评估的领域特定问答数据集的生成，包括多跳查询和无法…
-
大型语言模型在零样本测试中难以识别细粒度情感
一项新的研究论文评估了三种领先的大型语言模型在零样本情感识别方面的能力：Claude Sonnet 4.6、ChatGPT (GPT-5.4) 和 Gemini 2.5-Flash。研究发现，Gemini 的准确率最高，达到 39.9%，GPT-5.4 和 Claude 紧随其后。然而，所有模型在处理爱、困惑和羞耻等具体情感时都遇到了困难，McNemar 检验表明它们在性能上没有统计学上的显著差异。这项研究强调了这些前沿人工智能系统在…
-
新基准揭示视觉语言模型在脚本一致性方面存在困难
一个名为PuMVR的新基准已被开发出来，用于评估视觉语言模型（VLMs）在处理单一语言内多种脚本方面的能力。该基准包含1000个跨越旁遮普语的Gurmukhi、Shahmukhi和Roman脚本的并行图像-文本实例，揭示了10个最先进的VLMs存在显著的“脚本差距”。这些模型通常在一个脚本上表现良好，但在其他脚本上却表现不佳，准确率差异高达16%。该研究提出了脚本一致性率（SCR）作为评估脚本无关VLM性能和确保公平AI访问的关键指标。